RAGEvaluationDifyKnowledge Base

给 RAG 留几道资料里没有答案的题

RAG 评估不能只考知识库里写过的题。加入无答案、缺条件、旧版本和相近型号问题,分别检查证据覆盖、澄清行为与最终回答。

查看接入文档
给 RAG 留几道资料里没有答案的题

知识库能答对文档里的句子,还不足以说明它可以交给用户。RAG 评估需要保留几道资料没有答案的题,检查系统会不会承认缺信息、提出必要的追问,以及停止借用相似资料。把这些题单独记录,才能看见“什么都能回答”背后的错误。

先把“没有答案”分成几种情况

资料完全没写、问题缺少必要条件、检索漏掉已有证据,以及旧版已撤回,是四种不同情况。它们需要不同的下一步:说明资料未覆盖,追问型号或日期,修检索,或者确认撤回生效。全部写成一句“请换个问题”,读者仍不知道怎么继续。

教学问题资料状态期望行为
AX-17 使用多少伏?当前手册明确写了给出数字并引用该型号
AX-19 使用多少伏?没有该型号说明缺资料,核对铭牌
这个设备用多少伏?没给型号先问型号
去年 10 月适用哪版规则?有历史版本按日期选择对应版本
审核一定两小时完成吗?只写“人工审核”不补出时限或保证

这些是教学问题,不是已经运行得到的成绩。正向题也要保留:如果系统对全部问题都说“不知道”,无答案题可能好看,但应用同样没用。

可回答、缺资料、缺条件和已撤回分别对应回答、说明、追问与撤回核验

一道题至少要记录哪些信息?

先写固定的资料版本、问题、必须出现的证据 ID,以及期望的行为。应回答的题要有关键事实和适用条件;不能回答的题要说明到底缺了什么。标准不要只有一句参考答案,否则同样正确的改写也可能被误判。

例如,把一条记录保存为:

{
  "case_id": "missing-review-deadline",
  "corpus_version": "demo-policy-v2",
  "question": "人工审核一定两小时内结束吗?",
  "expected_behavior": "state_missing_information",
  "required_evidence_ids": ["custom-review"],
  "must_not_claim": ["guaranteed_two_hours"]
}

这里的字段是自己定义的验收格式,不是 Dify API。must_not_claim 是供检查程序或人工使用的含义标签,不意味着用一个字符串包含判断就能理解所有中文表达。

完整性也要单独看。Microsoft 当前 RAG 评估说明区分检索过程与最终回答,并把回答是否有依据、是否覆盖必要信息分开。一个答案可以没有编造,却漏掉重要例外;反过来,也可能覆盖了主题,却加上资料没有的保证。

应该先判检索还是先判回答?

先看实际证据。若“定制商品需要人工审核”写在原文,却没有进入上下文,把这题记成“检索未送达”比直接归为模型不行更有用。随后才判断回答是否按证据说明限制。已有候选覆盖与重排检查可用于定位前半段;引用链检查用于核对来源与最终句子的关系。

固定问题集先查候选与上下文,再查回答依据、遗漏和后续动作

不要把某个相似度阈值当作“有答案”的定义。分数高的段落可能只谈相邻话题;分数低也可能来自正确但表述不同的例外。阈值需要与自己的已标注问题一起检查,模型或资料换过后再复查。

Dify 的检索测试适合先看片段,之后还要用实际应用测试 Context 与最终答复。测试页设置不会自动保存为应用配置,别把两次不同设置下的结果混在一起。

能用一小段代码汇总吗?

可以汇总已经人工标好的行为与证据覆盖,不能让它冒充语义评判。以下记录都是手工构造的,第二条故意给错行为;程序应报出它:

expected = {
    "known": {"behavior": "answer", "evidence": {"ax17-power"}},
    "unknown": {"behavior": "state_missing_information", "evidence": set()},
    "ambiguous": {"behavior": "clarify", "evidence": set()},
}
observed = {
    "known": {"behavior": "answer", "evidence": {"ax17-power"}},
    "unknown": {"behavior": "answer", "evidence": set()},
    "ambiguous": {"behavior": "clarify", "evidence": set()},
}
if expected.keys() != observed.keys():
    raise ValueError("Missing or unexpected case IDs")
failed = []
for case_id, target in expected.items():
    actual = observed[case_id]
    if (actual["behavior"] != target["behavior"]
            or not target["evidence"] <= actual["evidence"]):
        failed.append(case_id)
print("failed:", failed)

这里的行为标签必须来自人工审阅,或另行验证过的评判流程;不能要求被测模型自己说 behavior=correct 就算通过。证据 ID 覆盖也只检查有没有那份来源,不能证明答案真的受它支持。自动评判有助于筛选,但关键业务题要逐句核对数字、条件、否定与承诺。

有答案题查证据与事实,无答案题查说明与追问,两组分别报告

修改配置以后,怎样比较才有意义?

固定资料与问题版本,每次只改一项。分别列出有答案题的证据缺失与答错情况,以及无答案/缺条件题的越界回答;同时留意误拒答。保存失败题和对应片段,修正后回跑同一题,再加一条不同问法,避免只对特定句子有效。

型号相近的资料可按混合检索与身份核对准备输入;新旧规则按文档撤回检查安排反向题。最初的客服流程可回看Dify FAQ 应用,把无答案验收作为发布前的一项具体工作。

本文于 2026 年 11 月 21 日查阅官方材料,离线运行了汇总程序,并检查遗漏题号与缺证据的合成分支;没有调用模型或运行完整 RAG,不提供准确率、拒答率或生产效果承诺。先把几道容易被相似资料诱导的问题保留下来,再讨论要不要换模型。

相关文章

用 Nbility 跑通你的 Agent 工作流

获取 API Key,统一接入 OpenAI 兼容模型和开发工具。

获取 API Key