第三堂课:从错误走向证据核验
知道模型可能出错,只是开始。真正有用的是把错误拆开,定位原因,再形成可以复查的判断。
这一堂使用虚构图书馆规则,练习区分事实、原因、来源支持和未知。案例中的规则与数字都不是实际校务规定。
01 幻觉怎样进入一段流畅回答
当任务要求依据事实或材料回答时,模型可能生成不符合事实、或不受材料支持的内容。问题可能与训练信息、当前输入、错误前提和生成过程有关。
不是所有错误都适合统称为幻觉。扫描识别错字、计算工具公式错误、执行了错误对象,都需要各自处理。首先描述实际现象,再分析相关环节。
例子:没有规则却给出肯定答案
用户问假期能否延长预约,材料只说明平日规则。回答补出“可以延长七天”,就超出了已知材料。
正确做法可能是指出材料没有覆盖假期安排,并说明还需要查询哪类通知。未知应当成为明确状态,而不是用肯定语气填平。
02 把一句话拆成可核验主张
考虑这句话:“图书馆每周三下午闭馆,用于盘点。”其中至少有两项事实主张:是否每周三下午闭馆,以及闭馆原因是否是盘点。
“用于盘点”虽然描述目的或原因,仍然是在声称现实发生了什么,不是无需证据的建议。两项主张可能得到不同结果。
找到一半依据,不等于整句得到支持
如果通知只写“周三下午暂停开放”,它支持时间和状态,但没有说明原因。若另一份记录写某一天做过盘点,也不自动证明每周闭馆都为盘点。
证据需要对应同一对象、时间和条件。不能把相近内容拼接成原文没有说过的完整结论。
03 原文支持的范围到哪里
例子一:验收和投入使用
材料写“验收四台设备,安装在二楼大厅”。这可以支持设备数量与安装位置,却不能单独证明已经向读者开放使用。还需要启用或运行记录。
例子二:30%与28%
一份总结写增长30%,另一份报告写28%。先检查时间范围、指标定义和分母是否一致。口径一致才可能直接判冲突,否则需要继续查明差异。
例子三:没有搜到公告
没有在本次检索中找到,并不等于公告不存在。可以记录检索范围和未获支持状态,不能把有限搜索升级为普遍否定。
这三种情况说明,核验不是只找一个绿色勾,而是准确描述支持到了哪里。
04 真实案例:案号存在也要读内容
法院网站刊载的一则案例中,律师提交了通过AI获得的参考案例。法院根据案号查到文书后,发现其事实和裁判内容与所引材料不符,并对未经核实提交的行为提出批评教育。案例原文
这里的教学重点不是记住处罚,而是看到两层核验:先确认材料是否存在,再确认它是否真的支持当前说法。
同样道理适用于研究论文、政策通知和企业报告。标题真实、作者真实、链接可打开,都不能单独代替内容对应。
05 留下一条别人可以接着查的记录
一条清楚记录可以包含:原始主张、来源和时间、相关原文、支持程度、尚未覆盖的条件,以及下一步需要的材料。
证据是用来支持或反驳主张的材料与记录;结论是结合这些证据作出的判断。二者不能定义成同一件事。
四种常见状态
完整支持,意味着相关条件都有对应依据。部分支持,意味着只证明了其中一些部分。发生冲突,需要指出冲突在哪里。证据不足,则应保留未知,而不是迫使自己选对或错。
把这种区分留下来,下一位读者就不必从头猜测你查过什么。协作因此更容易,判断也更可复查。
06 核验深度与使用后果相称
一段可随时修改的草稿,与会影响他人的正式决定,需要不同程度的检查。应优先核对决定行动的关键事实、数字和条件。
工具可以扩大检索和计算范围,人仍需要理解证据是否适用。若已经超出自己的能力,应找相应专业人员,而不是让模型替所有领域作最终保证。
案例走读:把一句结论拆成一张核验表
有人写道:“该系统去年已经在全市投入使用,因此办事时间减少了一半。”一句话里至少有时间、范围、运行状态、效果大小和因果五类主张。
| 主张 | 需要怎样的依据 |
|---|---|
| 去年 | 有明确日期的材料,且日期对应实际事件 |
| 全市 | 覆盖单位或地区的记录,而非单点案例 |
| 投入使用 | 实际运行或服务证据,不能仅凭采购和安装 |
| 减少一半 | 可比较的前后口径、样本与测量方式 |
| 因此 | 对其他变化的讨论,不能只凭同时发生 |
如果目前只找到一份某区的采购公告,合适的表述可能只是“该区曾公告采购相关系统”。不需要为了让结论完整,就把尚未证明的部分补齐。
核验并非一概否定,而是给每个主张匹配证据。新的运行记录出现后,可以扩展结论;证据暂时不足时,可以保留待查项。把未知写清,往往比给出完整却过强的故事更有帮助。