1、人工标注的评价

体系的回答能力取决于知识库的丰富情况，能不能回答用户所有的问题，系统的最佳状态是，能够回答所有能回答的问题，且不能确定就拒绝回答。所以，这里的评价指标有成绩率、检出率、检出率、检出率、检出率、检出率等，目的是使检出率无限接近实际检出率。召集率和正确度最高，这里显示的是一套计算系统度量的标准集合。在数据集上，我们每天都对小数据集进行抽样，使小数据集的数据分布尽可能符合整个数据集。

标注小组随后对数据集进行标注，以显示每个问题的实际答案。在完成通用标准之后，对链接进行质量检查，确保标注结果尽可能精确，从而为每日数据建立标准的评估集。在此基础上，评价系统的优劣，每次进行新的模型迭代时，都要用一组标准评价新模型，只有新模型效果好，才能在线运行。

2、评价用户反馈

手工评估可以判断在线客服系统回答是否正确，但不知道答案的合理性如何，能否为用户解决问题，是否需要用户反馈，在线客服系统的基本目标是帮助用户解决问题。设计智能客户服务和在线客户服务的评估功能。

举例来说，允许用户评估智能客服的每个回答或具体的会话，完成人工客服服务聊天之后，就会把评价卡发送给用户，评估他们的满意度。最后，我们可以统计参与度、满意度等指标，真正反映在线客服系统的优劣。由于用户的参与程度往往很低，所以有很多的方法来激发用户的评价。

因此，通过上述两种方法，我们可以大致判断在线客服系统到底是好是坏，从而决定是否需要选择。

https://www.udesk.cn/ucm/faq/faq-14596