Table 4.
Comparison of reviewed health care chatbot evaluation frameworks and the Health Care AI Chatbot Evaluation Framework (HAICEF).
| Construct | Framework references | ||||||||||||
|
|
[12] | [16] | [14] | [21] | [18] | [13] | [15] | [17] | [20] | [22] | [19] | HAICEF | |
| Safety, privacy, and fairness | |||||||||||||
|
|
Safety | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | |||
| Security | ✔ | ✔ | ✔ |
|
✔ | ✔ |
|
|
|
✔ | ✔ | ✔ | |
| Resilience |
|
|
|
|
|
|
|
|
|
|
✔ | ✔ | |
| Fairness and bias management | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | |||||||
| Trustworthiness and usefulness | |||||||||||||
|
|
Privacy | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ✔ | ||
| Accountability |
|
|
|
|
|
|
|
✔ | ✔ | ✔ |
|
✔ | |
| Transparency |
|
|
|
|
|
|
|
✔ | ✔ | ✔ |
|
✔ | |
| Explainability and interpretability |
|
|
|
|
|
|
|
✔ | ✔ |
|
✔ | ✔ | |
| Beneficence |
|
✔ |
|
|
|
|
|
✔ | ✔ |
|
|
✔ | |
| Validity | ✔ | ✔ |
|
✔ | ✔ | ✔ | ✔ |
|
|
✔ | ✔ | ✔ | |
| Reliability | ✔ |
|
|
|
✔ |
|
✔ |
|
|
|
✔ | ✔ | |
| Generalizability | ✔ | ✔ | ✔ | ||||||||||
| Design and operational effectiveness | |||||||||||||
|
|
Testability |
|
|
|
✔ |
|
✔ |
|
|
|
✔ | ✔ | ✔ |
| Accessibility |
|
✔ |
|
|
|
✔ | ✔ |
|
|
✔ |
|
✔ | |
| Cost effectiveness |
|
✔ | ✔ |
|
|
|
|
|
|
✔ |
|
✔ | |
| Personalized engagement | ✔ | ✔ | ✔ | ✔ | ✔ |
|
|
|
|
|
✔ | ✔ | |