资讯
AI 工作流搭建:用知识库问答练习检索、引用和人工复核
先写验收问题
以“这项服务怎样申请退款”为例。准备几份公开且带版本号的政策,给每条款编号。先写三类题:能直接回答的、需要组合两条规定的、材料中没有答案的。为每道题记下预期条款或“转人工”。
搭建最小流程
把文档按条款分段,保存来源、版本和生效日期。收到问题后先检索相关条款,再让模型仅根据返回的材料给出答案并附条款编号。这种先检索再生成的方式通常称为 RAG。材料不足时,返回待确认并交给人工。
检查中间结果
如果回答引用了旧政策,先看检索是否选错版本。找到了正确条款却给出错误结论时,再检查提示词和答案格式。把错误记在具体步骤上,后续修改时可重新跑同一批问题。
Hebbia 如何分别检查资料覆盖和引用相关性
据 OpenAI 发布的客户案例,Hebbia 评估金融研究工具时,分别检查回答是否涵盖必需的资料,以及引用的段落是否与问题相关。
可以这样试 用同一道退款问题测试知识库助手。先列出必须查到的政策条款,再逐条打开回答里的引用,分别记录「漏查条款」和「引用不支持结论」。两类错误对应不同的修正步骤。
OpenAI · 2026-11-20
上线前再加两道检查
确认检索范围遵循用户的数据权限,并在写入工单、发信或更改订单前设置人工确认。按周复核答对题数、引用准确率、转人工比例和单次成本;文档更新后重新测试。


