第一堂课:数据怎样成为学习材料
一个模型能回答许多问题,并不意味着它掌握了一个始终正确、实时更新的数据库。要理解它的能力从哪里来,需要先看训练材料怎样被准备。
这一堂用虚构图书馆服务资料作例子:原始网页、通知、常见问答和不同版本规则,怎样成为可以学习的数据?
01 收集材料不是学习的全部
原始数据可能来自文本、代码、图像、音频或其他记录。具体模型使用哪些材料、采用什么条件,取决于训练目标与实际设计。
材料进入训练之前,通常还需要处理格式、质量、重复与使用范围。一个能打开的网页,不自动等于适合直接学习的文本。
例子:网页里不只有正文
一张图书馆网页可能同时包含开放通知、导航、广告、推荐链接和旧页脚。若把所有文字混在一起,就可能破坏原有关系。
清洗需要识别结构,保留标题、正文、日期和必要上下文。把内容变整齐,不等于已经证明内容真实。
例子:表格失去单位
“可预约24小时”和“每日开放24小时”是不同说法。如果处理表格时只留下数字24,而丢掉字段和单位,后续学习可能围绕错误关系进行。
数据质量因此不只是错别字数量,还包括语义是否完整、条件是否保留、对象是否明确。
02 同一句话出现一万次,会怎样
不同网站可能转载同一段内容。表面看来源很多,实际仍可能只有一个原始来源。
重复会影响模型接触内容的比例,也可能放大某些表达、观点或错误。去重帮助管理这种分布,不是自动替我们判断哪条说法为真。
独立性与出现次数不同
如果十篇文章都复制同一则错误通知,它们不能构成十份独立证据。训练数据中的常见模式,与事实核验中的可靠支持,是不同问题。
反过来,一条罕见但正确的信息,也不会因为出现次数少就变成错误。统计学习与事实判断需要分开理解。
03 版本、对象和时间为什么重要
一条规则常常带着条件。例如,面向谁、何时生效、适用于什么地点、是否存在例外。这些信息丢失以后,原本正确的内容也可能被用错。
例子:旧通知仍在网上
旧规则允许提前七天预约,新规则改为三天。如果数据中混有两个版本,却没有保留更新时间和适用范围,模型以后可能生成一个不清楚来自哪一版的回答。
资料管理能够降低这类混乱,但不能保证训练后的模型对每条事实都能准确回溯原文。需要出处时,通常还要建立外部检索与核对过程。
配比也在影响学习机会
某种语言、领域或文体在数据中占比不同,会改变模型见到相关模式的机会。更多数据不自动意味着更适合你的任务,还要看质量、覆盖范围和训练目标。
这里不为所有模型规定一种最佳配比。重要的是认识到:选择数据,也是在选择模型更常接触怎样的世界。
04 三种材料承担不同作用
原文可以提供语言和知识相关模式;示范回答展示任务怎样完成;候选之间的比较则可以提供偏好或评价信号。
例如,同一份预约规则可以作为原始文本,也可以配成“怎样取消预约”的问答示范,还可以用来比较两份回答哪一份更符合要求。
它们之间相关,却不能简单互换。一个长文档并不自动教会模型遵循某种输出格式;一个格式漂亮的示范也不保证覆盖了所有事实。
05 为什么要区分训练、验证和测试
训练材料用于更新参数;验证材料帮助选择方案和设置;测试材料用于评价已经确定的方案。实际研究可以采用不同设计,但必须避免把模型已经反复见过的题目,当成它处理新问题的充分证明。
例子:只换了人名
训练题是“小明有3本书,又买2本”,测试题只是把小明换成小红。这样的题目可能仍然过于接近,不能充分说明模型已经掌握更广泛的数量关系。
要评价迁移,需要根据目标设计有代表性的独立材料,包括变化的条件和可能失败的情况。独立评估不是为了把成绩做低,而是为了知道成绩究竟说明什么。
测试也不等于现实全部表现
一套测试只覆盖有限问题。它可以提供有价值的信息,但不能自动替代长期使用、特定行业条件或高影响任务的评估。
本堂课的回顾
数据进入训练前,需要组织来源、结构、质量、重复、版本和使用条件。模型学习机会受数据影响,评价结果也受数据设计影响。
案例走读:一张干净的表,也可能失去重要含义
原始记录有“金额、单位、日期、项目、来源”五列。为了让数据更整齐,有人只保留金额与项目,又把格式不同的项目名称合并了。
表面上重复减少了,但“万元”与“元”可能混在一起,年度数据和月度数据失去了区分,同名项目也未必指同一件事。后来计算再精确,也无法自动找回已经删去的语义。
| 整理动作 | 应同时问的问题 |
|---|---|
| 统一格式 | 是否保留原值及单位? |
| 删除重复 | 重复的对象与判断规则是什么? |
| 合并名称 | 是否确实代表同一实体或口径? |
| 补齐空值 | 是查证补入,还是猜测得到? |
合理的数据处理会保留必要说明和可追溯关系。用于教学的简化示例可以省去一些字段,但应说明省略了什么;用于真实训练或评价的材料,则需要依据任务决定哪些信息不可丢。
同样的原则适用于文本:去掉日期、脚注和例外,可能让句子更短,却让它变成另一条规则。