Skip to content

04 选择模型与排查接入问题 ​

“选哪个模型”很容易变成追逐榜单。但在实际任务里,更有用的问题是:需要什么能力,当前配置能否提供,结果怎样核对。

这一章用已经接入的服务完成一个小比较,再练习分类诊断。它不会给出适用于所有人的固定模型排名。

4.1 先看输入和输出需要什么 ​

如果任务是提取文字通知,首先需要文本处理。读海报需要图像输入能力;从知识库按语义找片段可能需要嵌入模型;生成图片需要相应绘画能力;调用工具还要满足模型接口和运行环境的支持条件。

任务重点确认
从文字提取活动字段文本输入、约束遵守、事实保留
看海报或图表视觉输入与图中关系判断
建立语义检索嵌入能力及索引兼容
排序候选片段重排序接口与结果口径
生成海报图片图片输出能力与专用接口
在工作中读写文件兼容的模型、工具与 Agent 环境

模型选择器上的能力标签可以帮助筛选,但不是该服务当前实际支持的独立证明。后面的课程会逐项做小任务观察。

4.2 写评价标准 再看回答 ​

以活动通知为例,我们可以先规定:不能改日期地点,不能把未知电话编出来,必须明确容量,不能混入旧版安排。

这些标准比“解释得很高级”更容易检查。换成研究任务时,标准可能增加来源支持与观点区分;换成写作任务时,可能增加受众、语气与结构。

评价要覆盖你真正需要的成果,而不只看回复是否漂亮。用量、等待时间和后续返工也可以记录,但不要把自己估算的数字写成服务测量。

4.3 对比时尽量只改变一个条件 ​

固定材料、问题和助手要求,在独立话题中比较两个模型。如果某个参数只被其中一个支持,就记录这一差异,而不是强行填相同数字制造“公平”。

每个模型保留多次结果,可以帮助发现偶然性。比较所得结论要写成“在这组材料和设置下,某项要求更稳定”,而不是“这个模型永远更好”。

实验 E07 同题比较两个模型 ​

准备 ​

两个已接入的兼容文本模型;素材中的 activity-current.md、registration-rules.md。先不增加知识库和联网。

操作步骤 ​

  1. 写下三项评价:保留当前安排、说明人数口径、未知信息不补写。
  2. 在模型 A 的新话题中发送下面的任务,保存输出。
  3. 在模型 B 的新话题中提供相同材料和任务,不把 A 的回答粘进去。
  4. 各重复一次,按同一标准逐项标注。
  5. 若界面提供用量和等待信息,记录实际值及来源;未提供时留空。
  6. 写一个限定条件的选择理由。
text
阅读我提供的当前活动说明与报名规则。
请生成一个 150 字以内的活动介绍,并另列三项待确认信息。
保留当前日期、时间、地点和容量;不要补写材料没有的电话或费用。
不要把设计建议写成已经确定的安排。

完成标准 ​

提交四份输出与同一张评价表。只有一个可用模型时可以先重复观察稳定性,双模型部分留待补做,不编造另一模型的结果。

参考解释

正确事实和缺失信息来自材料,风格来自要求。重复输出可能不同,但这不自动意味着任务质量不同。结论应对应具体评价项,不能只选自己最喜欢的一次。

4.4 把问题放回对应层级 ​

请求没有发出去、服务拒绝身份、模型不兼容、触发限制、回答事实错了,是不同问题。优先读实际错误,再选择最小检查动作。

把故障放回对应层级
把故障放回对应层级先读具体错误,再选择最小检查动作;箭头表示排查顺序,不表示每次故障都经历所有阶段。 连接与地址请求是否到达服务路径是否正确鉴权与协议凭据与授权是否有效输入格式是否兼容模型与服务限制模型是否可调用是否触发服务限制回答与任务事实与要求是否满足需要补材料或修订先定位,再调整
先读具体错误,再选择最小检查动作;箭头表示排查顺序,不表示每次故障都经历所有阶段。查看原图 →

例如,报错说消息字段类型不对,应先查接口约定。如果已经正常返回,但采用了旧版通知,应该查实际输入和版本。还有一些问题可能横跨多层,需要逐项收集证据。

实验 E08 分类诊断 ​

准备 ​

使用第 02 章的响应卡和下面五个案例。案例均为教学情境,不需要故意制造请求失败。

案例现象
A客户端没有拿到 HTTP 状态,记录连接超时
B服务返回认证失败
C错误明确指出当前模型不支持指定参数组合
D服务报告限流
E正常返回,但把 301 室说成旧版 201 室

操作步骤 ​

  1. 分别写出已经能确认的事情,避免从现象直接跳到原因。
  2. 每个案例只选一个优先动作:查连接地址、查鉴权、查参数、查限制、查材料与版本。
  3. 写下什么后续证据会改变你的判断。
  4. 对 E 给出定向修订要求,不改动已经正确的事实。
  5. 把失败记录和修订结果放入实验记录表。

完成标准 ​

能说明为何优先检查某一项,而不只是记住错误码。实际服务的状态与错误解释优先于这张教学分类表。

参考解释

A 的记录不足以判定身份或模型问题;B 优先查服务与凭据;C 查支持的参数组合;D 依据服务说明安排请求;E 回到输入与版本核对。任何一类仍可能需要更多证据。

4.5 给接入层做一个交接 ​

到这里,你应能留下一个脱敏的环境记录:服务、协议、地址填写方式、模型标识和已经成功完成的小任务。后续切换模型或增加能力时,用它作为基线。

自检题 ​

01聊天模型、嵌入模型和绘画模型可以直接互换吗?
参考答案

不能按名字直接互换。它们承担的任务和输入输出约定不同。聊天模型生成对话,嵌入模型提供检索表示,绘画模型生成图片,具体能力还要按服务验证。

02模型一次答得很好,能否据此认定它总体最好?
参考答案

不能。需要把结论限定在任务、材料和配置中,并观察重复结果。一次回答不能代表所有场景,服务条件变化也会影响体验。

03为什么同一问题比较时要使用独立话题?
参考答案

避免上一模型的回答或旧材料进入下一次上下文,改变比较条件。仍需记录固定要求、参数支持和服务差异,不假装完全控制了所有变量。

04答案返回了却引用错资料,应该先改 API 地址吗?
参考答案

通常应先检查实际输入、资料版本与依据。已有返回说明调用走到了内容阶段,改连接配置不一定能修复事实或检索问题。

接下来进入助手、话题与角色要求,看看固定要求和具体对话怎样组合。

本章资料:AI 基础知识、模型服务、错误分类示例。本章不提供模型排名或未核实的价格。

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码