这是一份面向非科班学习者的大语言模型原理入门指南，覆盖机器学习基础、Transformer、训练与微调、推理、评测和应用等主题。文档提供按目标选择章节的学习路径，帮助读者理解模型能做什么、不能做什么，以及技术进展如何影响产品和投资判断。由于内容持续更新，具体模型和工具信息应结合原文最新版本阅读。

人工智能简史：世界瞬息万变——下一步可能是什么？围绕一个核心问题展开：要了解未来会是什么样子，研究我们的历史通常很有帮助。这就是我将在内容中做的事情。我回顾计算机和人工智能的简史，看看我们对未来的期望。我们是怎么来到这里的？即使是最近的计算机技术对今天的我们来说也是如此古老，世界变化的速度变得多么迅速。

序言：深度学习海啸。“深度学习浪潮已经拍打计算语言学的海岸好几年了，但 2015 年似乎是海啸全面冲击主要自然语言处理 (NLP) 会议的一年。” - Christopher D. Manning 博士，2015 年 12 月。这听起来可能有些夸张——也就是说，整个研究领域的既定方法正在迅速被一项新发现所取代，就像受到研究“海啸”的袭击一样。但是，这种灾难性的语言很适合描述深度学习在过去几年中的迅速崛起——这种崛起的特点是对解决 AI 中最棘手问题的主导方法进行了大幅改进，谷歌等行业巨头的大规模投资，以及人工智能领域的指数级增长。

理解 AI 内容生成，最好先把“提示”看成搜索查询，而不是命令。模型训练后形成了一个由文本、图像等数字内容构成的潜在空间；输入提示时，用户是在给模型坐标和方向，让它在可能输出中寻找相近结果。生成、分类和转换是三类基础能力：生成制造新内容，分类识别对象或属性，转换把输入改写、翻译、重绘或调整成另一个版本。使用工具时，经验很像搜索引擎：先提出粗略查询，再不断修改提示、筛选结果、设置参数，逐步逼近目标。底层机器学习概念比具体产品稳定得多，掌握这些概念后，新工具再频繁变化，也更容易判断它们能做什么、不能做什么，以及为什么同一个提示会产生不同结果。

GPT-3的核心机制，是在巨大文本语料上学习“给定前文后下一个token最可能是什么”。训练阶段会把约三千亿个token切成大量样本，让模型反复预测下一个词，计算错误，再更新参数；完成后，模型把学到的模式储存在一千七百五十亿个参数中。运行时，它接收提示词，在最多2048个token的上下文窗口内处理信息，经过96层Transformer解码器的矩阵计算，一次生成一个token，并把新生成的内容继续喂回模型。所谓少样本提示，是把任务说明和几个输入输出示例放进同一个上下文，让模型临时模仿这种格式，而不一定改变权重。它的能力来自规模、数据和Transformer结构的结合，并非真正读取事实库；微调则是在特定任务上继续更新权重，使同一架构更稳定地执行目标行为。

ChatGPT 做的是根据已有文本预测下一段最合理的延续，它之所以有效，是因为大规模语言模型学会了估计从未完整见过的词序列概率。它不是先理解世界再写作，而是在每一步判断当前上下文之后最可能出现的下一个标记，并反复累积成句子和段落。如果永远选择概率最高的词，结果常常乏味、重复；加入适度随机性后，低概率但仍合理的词会带来变化和创造感。早期的字母频率、双字母组合和词组模型能生成看似接近语言的片段，却无法覆盖真实语言中天文数量的组合。神经网络的价值就在于压缩规律、泛化模式，给没有直接统计记录的表达分配概率。因此，ChatGPT 的神奇来自一个朴素机制的规模化：在海量文本中学习语言的分布，再用概率逐步生成看似有意义的文本。