一个可验收的指标必须同时说清四件事:算什么、用哪批样本算、谁来判定对错、达到多少算通过。缺任何一项,验收环节就会变成双方各自解读同一个数字。
单一准确率指标的局限
因为它没有定义什么叫「准确」。同一个回答,业务方可能认为引用了正确的制度就算对,而审计方要求连版本号都必须一致。也没有定义样本:是随便问 20 个问题,还是覆盖全部事项类型的 200 个问题,结论完全不同。
更常见的问题是没有指定判定人。当供应商自评时,「准确」的标准会不自觉地向宽松方向漂移。判定人必须是业务方,并且在 POC 开始前就确定。
四类核心验收指标
1. 来源命中率 — 检验的是「有没有找对依据」
答案引用的文档章节,与人工标注的正确来源是否一致。这个指标比「答案是否正确」更容易客观判定,也更能定位问题出在检索还是生成。
2. 拒答准确率 — 检验的是「知不知道自己不知道」
故意放入知识库里没有答案的问题,看系统是否明确说明查不到,而不是编一个看起来合理的回答。这一项在政企场景里通常比正确率更重要。
3. 越权拦截率 — 检验的是「权限是否真的生效」
用低权限账号提问高权限范围的内容,看是否被拦截。要检查拦截发生在检索阶段,而不是先取到内容再在答案层隐藏。
4. 持续使用率 — 检验的是「业务方愿不愿意用」
试点人员中每周使用一次以上的占比。这是唯一不能靠调参优化的指标,也是最能预测项目能否进入生产的信号。
验收表字段设计
验收阈值设置建议
不要从行业报告里抄一个数字当阈值。合理做法是先测一次基线:让业务人员用现有方式完成同一批任务,记录耗时与出错情况。POC 的阈值应该相对这个基线设定,这样通过与否才对应真实的改善。这也是我们在交付流程中把场景澄清放在技术评估之前的原因。
需要一份试点验收模板?
含七条成功标准的量化定义、评测集构建方法、样本量约定与结论页模板。