04 选择模型与排查接入问题
“选哪个模型”很容易变成追逐榜单。但在实际任务里,更有用的问题是:需要什么能力,当前配置能否提供,结果怎样核对。
这一章用已经接入的服务完成一个小比较,再练习分类诊断。它不会给出适用于所有人的固定模型排名。
4.1 先看输入和输出需要什么
如果任务是提取文字通知,首先需要文本处理。读海报需要图像输入能力;从知识库按语义找片段可能需要嵌入模型;生成图片需要相应绘画能力;调用工具还要满足模型接口和运行环境的支持条件。
| 任务 | 重点确认 |
|---|---|
| 从文字提取活动字段 | 文本输入、约束遵守、事实保留 |
| 看海报或图表 | 视觉输入与图中关系判断 |
| 建立语义检索 | 嵌入能力及索引兼容 |
| 排序候选片段 | 重排序接口与结果口径 |
| 生成海报图片 | 图片输出能力与专用接口 |
| 在工作中读写文件 | 兼容的模型、工具与 Agent 环境 |
模型选择器上的能力标签可以帮助筛选,但不是该服务当前实际支持的独立证明。后面的课程会逐项做小任务观察。
4.2 写评价标准 再看回答
以活动通知为例,我们可以先规定:不能改日期地点,不能把未知电话编出来,必须明确容量,不能混入旧版安排。
这些标准比“解释得很高级”更容易检查。换成研究任务时,标准可能增加来源支持与观点区分;换成写作任务时,可能增加受众、语气与结构。
评价要覆盖你真正需要的成果,而不只看回复是否漂亮。用量、等待时间和后续返工也可以记录,但不要把自己估算的数字写成服务测量。
4.3 对比时尽量只改变一个条件
固定材料、问题和助手要求,在独立话题中比较两个模型。如果某个参数只被其中一个支持,就记录这一差异,而不是强行填相同数字制造“公平”。
每个模型保留多次结果,可以帮助发现偶然性。比较所得结论要写成“在这组材料和设置下,某项要求更稳定”,而不是“这个模型永远更好”。
实验 E07 同题比较两个模型
准备
两个已接入的兼容文本模型;素材中的 activity-current.md、registration-rules.md。先不增加知识库和联网。
操作步骤
- 写下三项评价:保留当前安排、说明人数口径、未知信息不补写。
- 在模型 A 的新话题中发送下面的任务,保存输出。
- 在模型 B 的新话题中提供相同材料和任务,不把 A 的回答粘进去。
- 各重复一次,按同一标准逐项标注。
- 若界面提供用量和等待信息,记录实际值及来源;未提供时留空。
- 写一个限定条件的选择理由。
阅读我提供的当前活动说明与报名规则。
请生成一个 150 字以内的活动介绍,并另列三项待确认信息。
保留当前日期、时间、地点和容量;不要补写材料没有的电话或费用。
不要把设计建议写成已经确定的安排。完成标准
提交四份输出与同一张评价表。只有一个可用模型时可以先重复观察稳定性,双模型部分留待补做,不编造另一模型的结果。
参考解释
正确事实和缺失信息来自材料,风格来自要求。重复输出可能不同,但这不自动意味着任务质量不同。结论应对应具体评价项,不能只选自己最喜欢的一次。
4.4 把问题放回对应层级
请求没有发出去、服务拒绝身份、模型不兼容、触发限制、回答事实错了,是不同问题。优先读实际错误,再选择最小检查动作。
例如,报错说消息字段类型不对,应先查接口约定。如果已经正常返回,但采用了旧版通知,应该查实际输入和版本。还有一些问题可能横跨多层,需要逐项收集证据。
实验 E08 分类诊断
准备
使用第 02 章的响应卡和下面五个案例。案例均为教学情境,不需要故意制造请求失败。
| 案例 | 现象 |
|---|---|
| A | 客户端没有拿到 HTTP 状态,记录连接超时 |
| B | 服务返回认证失败 |
| C | 错误明确指出当前模型不支持指定参数组合 |
| D | 服务报告限流 |
| E | 正常返回,但把 301 室说成旧版 201 室 |
操作步骤
- 分别写出已经能确认的事情,避免从现象直接跳到原因。
- 每个案例只选一个优先动作:查连接地址、查鉴权、查参数、查限制、查材料与版本。
- 写下什么后续证据会改变你的判断。
- 对 E 给出定向修订要求,不改动已经正确的事实。
- 把失败记录和修订结果放入实验记录表。
完成标准
能说明为何优先检查某一项,而不只是记住错误码。实际服务的状态与错误解释优先于这张教学分类表。
参考解释
A 的记录不足以判定身份或模型问题;B 优先查服务与凭据;C 查支持的参数组合;D 依据服务说明安排请求;E 回到输入与版本核对。任何一类仍可能需要更多证据。
4.5 给接入层做一个交接
到这里,你应能留下一个脱敏的环境记录:服务、协议、地址填写方式、模型标识和已经成功完成的小任务。后续切换模型或增加能力时,用它作为基线。
自检题
01聊天模型、嵌入模型和绘画模型可以直接互换吗?
不能按名字直接互换。它们承担的任务和输入输出约定不同。聊天模型生成对话,嵌入模型提供检索表示,绘画模型生成图片,具体能力还要按服务验证。
02模型一次答得很好,能否据此认定它总体最好?
不能。需要把结论限定在任务、材料和配置中,并观察重复结果。一次回答不能代表所有场景,服务条件变化也会影响体验。
03为什么同一问题比较时要使用独立话题?
避免上一模型的回答或旧材料进入下一次上下文,改变比较条件。仍需记录固定要求、参数支持和服务差异,不假装完全控制了所有变量。
04答案返回了却引用错资料,应该先改 API 地址吗?
通常应先检查实际输入、资料版本与依据。已有返回说明调用走到了内容阶段,改连接配置不一定能修复事实或检索问题。
接下来进入助手、话题与角色要求,看看固定要求和具体对话怎样组合。