【AI百科】学生问：预训练是啥？大模型的“九年义务教育”

聊AI的时候经常听到一个词：预训练。"某模型预训练数据有多少万亿字"这种说法你肯定见过。可预训练到底是干啥的？跟上一期说的微调有啥区别？今天卫老师用"上学"打比方，把这事讲透。

预训练就是大模型的"义务教育"

咱们人学本事，都是先上学识字、读文章、学常识，打好了底子，再去学专业。大模型也一样。预训练就是它的九年义务教育：把海量文本——书、文章、网页——喂给它，让它一遍遍地读，读的过程其实就干一件事：猜下一个字是什么。猜错了就调整，猜对了就强化。就这么一个看似笨拙的"接龙游戏"，玩上亿万遍之后，语言规律、事实知识、推理路数，全都被它摸透了。

预训练和微调是什么关系？

拿上学来比就清楚了：预训练是义务教育，管的是打基础——认字、明理、会表达；微调是岗前培训，管的是专业化——学会你家那摊事的具体干法。基础决定它聪不聪明，岗前培训决定它对不对你家的路。先有预训练后有微调，顺序不能反，就像先识字才能读专业书。

为什么预训练这么"烧钱"？

三个字：量大、灶多。海量数据要读，读的过程是天文数字级的算术题，得靠成千上万块专用芯片烧上几个月的电。所以能从头做预训练的，基本只剩那些大厂和巨头，这就好比不是每个家庭都能办一所学校。普通人、普通公司，都是"上学"的一方——拿现成训好的模型来用，这完全够用，一点也不吃亏。

这个概念跟你有什么关系？

关系很实际。第一，明白了预训练，你就懂了为什么模型有"知识截止日期"——义务教育毕业之后，没发新课本，新的它就不知道。第二，你就懂了为什么有人喊"我的行业模型"要多花钱——多数是在别人打好的底子上做微调，而不是从零办学校。听懂这两点，你比一半的同行都明白。

知道这些，看新闻就不懵了

以后刷到AI新闻，你就能听懂门道了：说某家"预训练了几个月"，那是新学校在办义务教育；说"后训练""对齐"，那是毕业前的思想品德课，教它什么该说什么不该说；说"行业模型"，多半是别人家孩子上了岗前培训。还有个词叫"数据配比"——就是给学生排课程表，读多少小说、多少论文、多少代码，配比不同，学生的气质也不同。这些词背后没什么玄乎的，都是"上学"这件事的不同环节。概念看透一层，你对AI行业的判断力就超过大多数只看热闹的人。

一句话总结

预训练是大模型的九年义务教育——海量阅读打底子，之后的专业本事都长在这底子上。

想系统学习AI落地应用，关注【沃艾GEO】（woaigeo.com），卫老师带你用大白话搞懂AI。