Skip to content

第二堂课:追踪一次 AI 服务 ​

第一堂课建立了五层地图。这一堂课把地图放进一个实际过程:上传活动通知以后,系统怎样把它变成清单?

我们仍使用“10 月 22 日下午 2 点、社区活动室、40 人、报名方式未说明”这份虚构通知。观察重点从“有哪些层”转向“各环节做了什么,怎样知道它做对了”。

01 一份文件怎样成为模型的输入 ​

文件上传以后,应用先要获得其中的内容。文本文件、扫描图片和带复杂表格的文档,需要的处理方式可能不同。应用可以使用解析、识别或其他工具,把内容转为后续步骤能够使用的材料。

读取结果不是原件本身。扫描件中的日期可能识别错,跨页表格可能被拆开,脚注可能遗漏。材料进入下一环节前,保留原件和来源位置,有助于后来解释输出为什么出错。

文件完整,读取也未必完整 ​

一个文件包含很多页,并不证明每页都已经读到。应用可能只抽取部分文字,也可能按任务选取相关段落。容量和产品设计都会影响实际处理范围。

在通知例子中,最重要的检查不是文件名有没有显示,而是原文的日期、地点、人数,以及缺少报名方式这个条件,是否进入了后续输入。

如果读取时漏掉了“下午 2 点”,模型就可能得到不完整材料。它是否应保留未知,要看任务与输入;不能要求它用常识猜出组织者真实安排。

02 请求怎样被组织和运行 ​

应用还需要把你的要求和材料组织起来。一份请求可能包含任务指令、实际选取的对话历史、文件内容或检索结果,以及要求的输出形式。

这里的“上下文”是本次实际送入模型的材料,不等于界面中可见的全部历史,也不等于某个知识库里保存的所有文件。

一次请求怎样走完整条链
请求与核对循环读取、组织、运行和核对四个环节组成循环。01 读取材料解析文件或识别扫描件保留原文与来源位置02 组织请求任务、材料与对话历史实际传入模型的上下文03 运行与返回调度资源,执行计算组织并传回输出04 核对成果对照原文检查事实记录未覆盖与待确认一次结果,多个环节
处理请求与核对成果共同组成服务;日期错误可能来自不同环节。查看原图 →

同样的材料,可以对应不同请求 ​

“概括通知”与“提取行动清单”看起来相近,却需要不同处理。前者关注内容摘要,后者还需要知道使用者要采取什么行动、哪些条件没有明确。

任务改变以后,输出结构和完成标准也要改变。应用把要求组织得怎样,会影响模型面前究竟是什么问题。

本章先理解这种关系。具体怎样写任务说明,可以继续参考 WorkBuddy 红宝书。

资源调度与计算发生在运行环境中 ​

请求到达服务以后,要由运行环境安排处理:核对访问条件、选择可用资源、安排等待、读取需要的数据,再执行模型计算。具体系统采用什么步骤,会因部署方式而不同。

这是一条常见的理解路线,不是每个产品都经过完全一样的组件。系统也可能已将模型常驻在内存中,不必每次请求都重新从磁盘加载全部权重。

因此,不能把“读取模型”和“生成回答”理解成每次都固定重复的两笔动作。实际速度,需要看资源当前状态和系统组织方式。

03 文字为什么通常要逐步生成 ​

对于常见的自回归语言模型,已经生成的内容会影响后续输出。可以先抓住一个基本循环:依据当前上下文计算候选,按解码策略选择输出,把它追加到上下文,再继续计算。

回答为什么要逐步生成
逐步生成上下文进入预测,选择输出后再追加到上下文。当前上下文任务与材料 + 已生成的内容预测候选计算下一步的候选分布选择并追加按解码策略选择输出加入上下文,继续计算候选 A候选 B候选 C概率大小不等于事实真假 · 候选分布为示意
常见自回归生成依赖已生成内容,内部仍有并行计算。查看原图 →

生成循环不是逐字查词典 ​

模型处理的单位通常是Token,而不是固定一个汉字或一个自然词。不同分词器的切分不同。本图用候选和输出片段说明关系,不展示指定模型的实测切分。

计算得到的候选分布,也不等于世界上各个答案真实的概率。一个表达在模型中容易生成,不证明它描述的事情已经发生。

在通知例子中,“报名请扫描二维码”可能像一段常见通知的续文,但实际材料并没有提供这个事实。生成习惯不能替代来源支持。

选择策略不一定总取最高概率项 ​

生成时可以采用不同解码策略。有的选择更集中,有的允许更多候选。具体设置和实现会影响输出。

稳定与正确需要分别判断:同样的错误反复出现,仍然是错误;同样的事实有多种合理表达,也不意味着模型不可靠。评价时要回到材料和任务条件。

逐步生成与并行计算可以同时存在 ​

输出之间有先后依赖,不等于模型内部只有一个计算单元在工作。处理上下文、进行矩阵运算或服务多个请求时,都可能用到并行计算。

理解这一点,就不会把“屏幕上一个字一个字出现”直接当作底层计算方式的完整说明。界面也可以改变展示节奏,系统还可能一次返回更大块内容。

04 计算能力还依赖数据能够及时到达 ​

模型计算需要读取相关权重和当前状态。计算设备的能力很重要,数据存在哪里、怎样搬运、能否及时读到,也会影响整体表现。

可以用一个厨房类比:厨师能够快速处理食材,前提是食材、器具和工作空间及时可用。让厨师继续增加,并不能自动解决所有食材都堵在同一个入口的问题。类比帮助理解依赖关系,不代表模型真的像人在烹饪。

芯片、内存与存储承担不同作用 ​

芯片执行计算,内存保存运行中需要及时访问的数据,存储保存模型文件、输入和其他材料。具体系统会在这些位置之间安排数据。

这些概念共同解释一种现象:模型可以安装或保存,却不意味着它能在当前设备上以合适速度运行。模型规模、数据精度、输入长度、并发与软件实现,都影响所需资源。

本章不提供按一个参数数字直接购买设备的建议。比较时,应先确定任务条件,再看实际运行表现。

CPU与GPU是协作关系 ​

CPU适合承担许多控制和通用处理工作,GPU可以处理大量并行计算。不同任务、实现和系统,会采用不同分工。不能只用“谁更先进”决定所有任务应该交给谁。GPU编程模型

例如,文件解析、网络处理和模型计算,未必由同一种处理器以同一种方式完成。完整服务的速度也就不能只看某一块设备的宣传值。

05 多台设备怎样协作 ​

有些任务会被安排到多台设备共同完成。系统需要划分工作、传递数据,并在合适的位置同步和合并结果。

并行计算还需要协作
并行与协作任务分到两组设备,设备之间通信,结果再合并。一项计算任务设备组 1处理被分配的计算设备组 2处理被分配的计算同步与合并传数据、等同步,也花时间设备数量与完整任务速度,需要分别评价
多设备并行需要传递数据、等待同步和合并结果。查看原图 →

并行不是把设备数量简单乘上去 ​

计算过程中,如果设备需要频繁等待其他设备,或者数据传递占了很多时间,新增硬件的收益就可能受到限制。调度、负载分配和软件实现,也会影响设备是否真的忙在有用的工作上。

单卡峰值、卡的数量和完整任务速度,是不同的观察量。比较两个系统时,需要保持任务、输入输出长度、精度和并发等条件一致。

两种“分工作业”需要分开 ​

一种是把不同请求分给不同设备:你整理通知,我处理另一份文件。另一种是多设备共同参与同一个模型或请求的计算。

两者可能解决不同问题。前者帮助处理更多请求,后者可能用于运行更大的模型或改变单项任务的计算组织。不能只说“有更多设备”,就推断某一个人的回答必然更快。

看见等待的位置 ​

如果结果变慢,可以把时间拆开:请求是否排队,模型是否在计算,设备是否在等数据,网络是否在传输,产物是否还在转换格式。

五层地图告诉我们可能涉及哪些条件,过程记录则帮助找到时间实际花在哪里。二者结合,才有机会提出合适改进。

06 供电和散热怎样进入计算过程 ​

模型计算发生在物理设备中。设备持续工作要耗电,工作产生的热量也需要被移走。存储、网络和冷却系统同样参与能源消耗。数据中心设备与能源

计算、供电与散热怎样联系
供电与冷却供电进入计算设备,热量流向冷却系统,风扇转动。供电能源供给供配电落实计算设备执行任务产生热量冷却热冷却训练要用电,日常推理也要用电能源关注供给;基础设施落实供配电与散热
电力使设备工作,产生的热量需要移走;冷却不能省略。查看原图 →

能源与基础设施的边界 ​

能源层关注供给;基础设施层把供配电、冷却和环境管理落实为运行条件。图中把它们连在一起,是为了说明同一个系统中的物理关系。

有了芯片和模型,没有合适供电与散热条件,也难以按所需规模持续运行。已有模型训练完成以后,日常推理仍需这些条件。

一次回答的耗能为什么没有通用常数 ​

采用哪个模型、运行什么任务、生成多长输出、设备怎样配置,以及服务怎样调度,都会影响消耗。统计还需要说明是否包含其他运行开销。

因此,“输入了几行字”只能描述界面上的内容,不能据此计算整个系统消耗。真正比较能源效率时,要明确同一任务完成了什么,以及用了哪些资源。

07 返回文字以后,还有什么工作 ​

结果传回应用,可能还需要整理成清单、写入文件或与其他业务步骤衔接。使用者也要核对关键事实和缺失条件。

在通知例子中,可以按原件逐项比较:日期是10月22日吗,时间是下午2点吗,地点和人数是否保留,报名方式是否被擅自补齐。

如果系统给出了来源位置,核对可能更方便,但有引用仍不等于引用支持了每句话。如果结果生成了文档,也要打开文件,看内容和结构是否符合要求。

一次成功,不等于持续可靠 ​

一份短通知处理正确,说明它在这次材料与条件下完成了任务。以后面对扫描件、冲突版本、更长文件或多人同时使用时,还需要重新观察。

这不是要求每次都进行复杂实验,而是提醒我们保持判断的范围:已经知道哪个结果成立,哪些条件还没有覆盖。

这一堂课的回顾 ​

一次服务包括材料读取、请求组织、运行与返回、成果核对。模型计算依赖数据和资源,设备协作依赖通信与调度,持续运行依赖供电与散热。

1. 日期写错,为什么不能直接归因为模型能力不足?

读取错误、版本错误、材料未进入请求和生成错误,都可能产生同样的结果。先对照输入与过程,再判断哪一环节需要改变。

2. 为什么增加设备数量,不一定让单个请求按比例变快?

不同请求并行与同一个请求的多设备协作不同,后者还涉及数据传递、同步、调度和利用率。完整任务可能受其他环节限制。

3. 为什么必须把核对和返工计入完整任务?

生成只是其中一个环节。使用者要获得正确且可用的清单,还需要发现和修正错误。把这些工作略去,会夸大实际收益。

第三堂课:从需求看产业协作 · 返回本章总览

本课延伸阅读 ​

微信联系

李不凯的个人微信二维码,扫码添加好友

使用微信扫一扫,手机上可长按保存二维码