ChatGPT 是做什么的……它为什么起作用？

ChatGPT 做的是根据已有文本预测下一段最合理的延续，它之所以有效，是因为大规模语言模型学会了估计从未完整见过的词序列概率。它不是先理解世界再写作，而是在每一步判断当前上下文之后最可能出现的下一个标记，并反复累积成句子和段落。如果永远选择概率最高的词，结果常常乏味、重复；加入适度随机性后，低概率但仍合理的词会带来变化和创造感。早期的字母频率、双字母组合和词组模型能生成看似接近语言的片段，却无法覆盖真实语言中天文数量的组合。神经网络的价值就在于压缩规律、泛化模式，给没有直接统计记录的表达分配概率。因此，ChatGPT 的神奇来自一个朴素机制的规模化：在海量文本中学习语言的分布，再用概率逐步生成看似有意义的文本。