这是一份面向非科班学习者的大语言模型原理入门指南，覆盖机器学习基础、Transformer、训练与微调、推理、评测和应用等主题。文档提供按目标选择章节的学习路径，帮助读者理解模型能做什么、不能做什么，以及技术进展如何影响产品和投资判断。由于内容持续更新，具体模型和工具信息应结合原文最新版本阅读。
人工智能简史：世界瞬息万变——下一步可能是什么？围绕一个核心问题展开：要了解未来会是什么样子，研究我们的历史通常很有帮助。这就是我将在内容中做的事情。我回顾计算机和人工智能的简史，看看我们对未来的期望。我们是怎么来到这里的？即使是最近的计算机技术对今天的我们来说也是如此古老，世界变化的速度变得多么迅速。
序言：深度学习海啸。“深度学习浪潮已经拍打计算语言学的海岸好几年了，但 2015 年似乎是海啸全面冲击主要自然语言处理 (NLP) 会议的一年。” - Christopher D. Manning 博士，2015 年 12 月。这听起来可能有些夸张——也就是说，整个研究领域的既定方法正在迅速被一项新发现所取代，就像受到研究“海啸”的袭击一样。但是，这种灾难性的语言很适合描述深度学习在过去几年中的迅速崛起——这种崛起的特点是对解决 AI 中最棘手问题的主导方法进行了大幅改进，谷歌等行业巨头的大规模投资，以及人工智能领域的指数级增长。
GPT-3的核心机制，是在巨大文本语料上学习“给定前文后下一个token最可能是什么”。训练阶段会把约三千亿个token切成大量样本，让模型反复预测下一个词，计算错误，再更新参数；完成后，模型把学到的模式储存在一千七百五十亿个参数中。运行时，它接收提示词，在最多2048个token的上下文窗口内处理信息，经过96层Transformer解码器的矩阵计算，一次生成一个token，并把新生成的内容继续喂回模型。所谓少样本提示，是把任务说明和几个输入输出示例放进同一个上下文，让模型临时模仿这种格式，而不一定改变权重。它的能力来自规模、数据和Transformer结构的结合，并非真正读取事实库；微调则是在特定任务上继续更新权重，使同一架构更稳定地执行目标行为。
ChatGPT 做的是根据已有文本预测下一段最合理的延续，它之所以有效，是因为大规模语言模型学会了估计从未完整见过的词序列概率。它不是先理解世界再写作，而是在每一步判断当前上下文之后最可能出现的下一个标记，并反复累积成句子和段落。如果永远选择概率最高的词，结果常常乏味、重复；加入适度随机性后，低概率但仍合理的词会带来变化和创造感。早期的字母频率、双字母组合和词组模型能生成看似接近语言的片段，却无法覆盖真实语言中天文数量的组合。神经网络的价值就在于压缩规律、泛化模式，给没有直接统计记录的表达分配概率。因此，ChatGPT 的神奇来自一个朴素机制的规模化：在海量文本中学习语言的分布，再用概率逐步生成看似有意义的文本。
大型语言模型的核心在于一套高度统一的“流水线”：先把文本切成子词级别的 token，并转换成整数 ID，再通过嵌入矩阵映射到高维向量空间，获得可计算的语义表示。位置本身通过旋转位置编码 RoPE 注入到注意力机制中，使模型在比较 Query 和 Key 时天然感知相对距离。多头自注意力在此基础上并行运行，每个注意力头用不同的投影矩阵捕捉句法关系、指代关系、模式延续等不同视角，同时利用因果 Mask 保证按从左到右的顺序生成。紧接其后的前馈网络对每个 token 独立扩展、非线性变换再压缩，是知识和事实结构的主要存储空间，也催生了 MoE 等在不线性增加计算量的前提下放大参数规模的设计。残差连接与归一化则像骨架和血液，让数十甚至上百层的堆叠保持稳定可训练。最终，模型将最后一个 token 的向量映射到所有候选 token 的 logits，经采样策略选出下一个 token，不断循环完成生成。不同模型之间，真正拉开差距的不是这套骨架本身，而是训练数据、参数配置、以及在此之上的指令微调与安全对齐方式。
一个新的 AI 词典：性别。最近关于性别和AI 的对话主要围绕着超越男性和女性二元论来理解性别的需求。例如，美国优步使用的面部识别技术在正确识别变性人方面存在问题（参见 此处 和 此处 ）。例如，美国国家科学基金会 强调了一项研究，该研究 表明“面部分析服务对变性人的表现一直较差，并且普遍无法对非二元性别进行分类。据 CNN Business 报道，¹“ 计算机看待性别的方式并不总是与人们看待它的方式相同。
本周的主题是加拿大最有趣的公司之一布鲁克菲尔德资产管理公司。它曾经是一家企业集团，用了 20 年的时间转型为一家大型投资管理公司。下周，当它将资产管理业务分拆到多伦多和纽约证券交易所时，转型将完成。付费订户也可以获得一些额外的好东西——请考虑通过单击此处加入他们。“私募股权基金是这个时代的企业集团。
在本指南中，我们将讨论 FFmpeg 的热门话题。但在此之前，我们将介绍一些基础知识，以帮助您了解基本的媒体概念和 FFmpeg。随意跳过对您来说已经微不足道的部分！FFmpeg.org 的定义如下：“FFmpeg 是领先的多媒体框架，能够解码、编码、转码、mux、demux、流、过滤和播放人类和机器创造的几乎任何东西。它支持最晦涩的古老的格式一直到最前沿。
数十亿人将相机放在口袋里，用它们记录自己的生活。然而，尽管照片硬件已经大众化， 摄影技术的知识仍然难以捉摸。无数书籍、网页和 YouTube 视频声称提供建议，但往往 专注于对大多数爱好者来说无关紧要的话题——例如购买装备或记住很少能拍出好照片的虚构构图规则。我不是专业人士，但我涉猎摄影已有二十多年 - 在犯了无数错误之后，我已经相当不错了。这个页面是对如何拍出好照片的充满激情的逆向看法，以及一组可以重复的简单实验 在家。
桑德罗·雷巴克 (Sandro Rybak) 的插图。像我这样的少数人可以品尝我们周围的一切。联觉的条件——通过另一种感觉体验一种或多种感觉——提供了一个由我们经验的交集而不是它们之间的界限所告知的世界，一个存在于感觉和感觉之间的世界。在我的世界里，我的味觉对我所看到的每一件事都是独一无二的。想象一下，您在东亚特兰大村的格伦伍德大道上。
当 Paddy Padmanathan 首次提出将一小部分可再生能源引入沙特阿拉伯电力供应的想法时，国家公用事业公司对他置若罔闻。总部位于利雅得的能源公司 ACWA Power 的首席执行官回忆说，2007 年，在有人指出供应商以“极具竞争力的价格”接收石油，远比太阳能便宜后，他被礼貌地告知“走开”。这个世界最大原油出口国的反应在意料之中，几十年来，它以高额补贴的价格愉快地燃烧了数十亿桶石油，为发电厂、海水淡化厂和工业提供燃料。“没有动力，”这位英斯里兰卡高管表示。但 15 年过去了，他和 ACWA 站在中东最雄心勃勃的可再生能源计划的前线，因为这个能源消耗大国是地球上最大的二氧化碳排放国之一，它承诺变得更加绿色和清洁。
地缘政治是失败者的流行语，具有感染力围绕一个核心问题展开：今天每个人都在谈论地缘政治。这个想法很有感染力。它似乎不知从何而来。二十年前，这个词是异国情调的，它背后的含义也很古怪。那时的世界不一样了。
与他更为著名的同事阿尔伯特·爱因斯坦不同，约翰·冯·诺依曼如今并不是家喻户晓的名字，但他的发现塑造了这个星球上每一种生物的生命可能性 十几岁的时候，冯诺依曼为数学奠定了新的基础。后来，他帮助教世界如何制造和引爆核弹。他发明的博弈论提供了当今超级大国决定是否发动战争、经济学家模拟市场行为以及生物学家预测病毒进化的概念工具。冯诺依曼及其雇主新泽西州普林斯顿高等研究院于 1951 年完成的开创性可编程计算机将“冯诺依曼体系结构”确立为计算机设计标准，直至 21 世纪，首先是 IBM，然后是许多其他公司非常富有。冯诺依曼不仅是一位极富洞察力的科学家； 他对他的一些发现对地球构成的威胁也有先见之明。
在《高效阅读英语信息的方法》中提到，我英语信息源占比越来越大，同时在 Immersive-translate 的加持下，我逐渐喜欢上看英语内容，但是对自己阅读过的文章希望能将 「双语」版本 保存下来，供后续查阅。
于是，我想到了两种方式，分别是保存到稍后读 Readwise Reader 中或者下载到本地；前者会造成信息冗余（加上对英语不够熟悉会忘记关键词），后者会加重本地管理压力，都不是满意的方案。
在群里和 @OwenYoung 表达了想法，他和我说：前两天刚好搭建了一个类似项目 Owen's Clip，于是我申请复刻（白嫖）了。
经过不到 1 小时的折腾，站在巨人的肩膀上，我的 DemoChen's Clip 复刻成功。
DemoChen's Clip