给 RAG 留几道资料里没有答案的题
RAG 评估不能只考知识库里写过的题。加入无答案、缺条件、旧版本和相近型号问题,分别检查证据覆盖、澄清行为与最终回答。

知识库能答对文档里的句子,还不足以说明它可以交给用户。RAG 评估需要保留几道资料没有答案的题,检查系统会不会承认缺信息、提出必要的追问,以及停止借用相似资料。把这些题单独记录,才能看见“什么都能回答”背后的错误。
先把“没有答案”分成几种情况
资料完全没写、问题缺少必要条件、检索漏掉已有证据,以及旧版已撤回,是四种不同情况。它们需要不同的下一步:说明资料未覆盖,追问型号或日期,修检索,或者确认撤回生效。全部写成一句“请换个问题”,读者仍不知道怎么继续。
| 教学问题 | 资料状态 | 期望行为 |
|---|---|---|
| AX-17 使用多少伏? | 当前手册明确写了 | 给出数字并引用该型号 |
| AX-19 使用多少伏? | 没有该型号 | 说明缺资料,核对铭牌 |
| 这个设备用多少伏? | 没给型号 | 先问型号 |
| 去年 10 月适用哪版规则? | 有历史版本 | 按日期选择对应版本 |
| 审核一定两小时完成吗? | 只写“人工审核” | 不补出时限或保证 |
这些是教学问题,不是已经运行得到的成绩。正向题也要保留:如果系统对全部问题都说“不知道”,无答案题可能好看,但应用同样没用。
一道题至少要记录哪些信息?
先写固定的资料版本、问题、必须出现的证据 ID,以及期望的行为。应回答的题要有关键事实和适用条件;不能回答的题要说明到底缺了什么。标准不要只有一句参考答案,否则同样正确的改写也可能被误判。
例如,把一条记录保存为:
{
"case_id": "missing-review-deadline",
"corpus_version": "demo-policy-v2",
"question": "人工审核一定两小时内结束吗?",
"expected_behavior": "state_missing_information",
"required_evidence_ids": ["custom-review"],
"must_not_claim": ["guaranteed_two_hours"]
}
这里的字段是自己定义的验收格式,不是 Dify API。must_not_claim 是供检查程序或人工使用的含义标签,不意味着用一个字符串包含判断就能理解所有中文表达。
完整性也要单独看。Microsoft 当前 RAG 评估说明区分检索过程与最终回答,并把回答是否有依据、是否覆盖必要信息分开。一个答案可以没有编造,却漏掉重要例外;反过来,也可能覆盖了主题,却加上资料没有的保证。
应该先判检索还是先判回答?
先看实际证据。若“定制商品需要人工审核”写在原文,却没有进入上下文,把这题记成“检索未送达”比直接归为模型不行更有用。随后才判断回答是否按证据说明限制。已有候选覆盖与重排检查可用于定位前半段;引用链检查用于核对来源与最终句子的关系。
不要把某个相似度阈值当作“有答案”的定义。分数高的段落可能只谈相邻话题;分数低也可能来自正确但表述不同的例外。阈值需要与自己的已标注问题一起检查,模型或资料换过后再复查。
Dify 的检索测试适合先看片段,之后还要用实际应用测试 Context 与最终答复。测试页设置不会自动保存为应用配置,别把两次不同设置下的结果混在一起。
能用一小段代码汇总吗?
可以汇总已经人工标好的行为与证据覆盖,不能让它冒充语义评判。以下记录都是手工构造的,第二条故意给错行为;程序应报出它:
expected = {
"known": {"behavior": "answer", "evidence": {"ax17-power"}},
"unknown": {"behavior": "state_missing_information", "evidence": set()},
"ambiguous": {"behavior": "clarify", "evidence": set()},
}
observed = {
"known": {"behavior": "answer", "evidence": {"ax17-power"}},
"unknown": {"behavior": "answer", "evidence": set()},
"ambiguous": {"behavior": "clarify", "evidence": set()},
}
if expected.keys() != observed.keys():
raise ValueError("Missing or unexpected case IDs")
failed = []
for case_id, target in expected.items():
actual = observed[case_id]
if (actual["behavior"] != target["behavior"]
or not target["evidence"] <= actual["evidence"]):
failed.append(case_id)
print("failed:", failed)
这里的行为标签必须来自人工审阅,或另行验证过的评判流程;不能要求被测模型自己说 behavior=correct 就算通过。证据 ID 覆盖也只检查有没有那份来源,不能证明答案真的受它支持。自动评判有助于筛选,但关键业务题要逐句核对数字、条件、否定与承诺。
修改配置以后,怎样比较才有意义?
固定资料与问题版本,每次只改一项。分别列出有答案题的证据缺失与答错情况,以及无答案/缺条件题的越界回答;同时留意误拒答。保存失败题和对应片段,修正后回跑同一题,再加一条不同问法,避免只对特定句子有效。
型号相近的资料可按混合检索与身份核对准备输入;新旧规则按文档撤回检查安排反向题。最初的客服流程可回看Dify FAQ 应用,把无答案验收作为发布前的一项具体工作。
本文于 2026 年 11 月 21 日查阅官方材料,离线运行了汇总程序,并检查遗漏题号与缺证据的合成分支;没有调用模型或运行完整 RAG,不提供准确率、拒答率或生产效果承诺。先把几道容易被相似资料诱导的问题保留下来,再讨论要不要换模型。


