提高大型语言模型的推理能力 (LLMs) 已成为 2025 年最热门的话题之一，这是有充分理由的。与仅共享最终答案的简单问答不同，推理模型要么明确显示其思维过程，要么在内部进行处理，这有助于它们在复杂任务（例如谜题、编码挑战和数学问题）中表现更好。然而，LLMs 通常旨在通过结合大量训练时间计算（大量训练或微调，通常使用强化学习或专门数据）和增加测试时间计算（允许模型“思考更长时间”或在推理期间执行额外计算）来改进推理。在这个问题中，我将重点介绍2025 年 1 月 22 日 DeepSeek R1 发布之后发布的关于扩展推理时间计算扩展的有趣的新研究论文和模型发布。例如，OpenAI 使用强化学习开发了其 o1 模型，然后又利用了推理时间计算扩展。一种方法是提示工程，例如思路链 (CoT) 提示，其中“逐步思考”等短语会引导模型生成中间推理步骤。2022 年大型语言模型中的经典 CoT 提示的一个示例是零样本推理器论文 ( 另一种方法涉及投票和搜索策略，例如多数投票或集束搜索，通过选择最佳输出来改进响应。

2024 年 3 月 21 日 • 作者：Sherlock Xu 在过去的一年里，AI 领域一直在快速发布大型语言模型（LLMs），每个模型都以推动生成式 AI 的可能性为目标而取得了进展。就在上周末，xAI 发布了其 Grok 语言模型，该模型拥有 3140 亿个参数，采用 Apache 2.0 许可证。用户可以对其进行微调，以满足特定任务或行业的独特需求（在 Hugging Face Model Hub 中搜索“Llama2”可获得超过 12,000 个搜索结果）。在 Meta 的评估中，Llama 2 的 7B、13B 和 70B 参数模型显示出较低的安全违规百分比（3%和 4%），超过了 Falcon 和ChatGPT（7%）。Zephyr 7B 是基于 Mistral 7B 构建的，经过微调以更好地与人类意图对齐，在特定任务和基准测试中表现优于其他模型。在发布时，Zephyr-7B-β是 MT-Bench 和 AlpacaEval 基准测试中排名最高的 7B 聊天模型。

人类偏好数据可以用于模型排名、评测和路由：对同一提示比较多个模型输出，再预测用户更可能选择哪个，从而在质量、成本和速度之间分配请求。文章也说明，整体排行榜无法代表所有领域和查询，可靠应用需要关注样本偏差、特定任务表现和真实用户反馈。

领域特定的 LLM 产品需要以评测系统驱动改进，而不是凭主观感受调提示。文章以房地产助手为例，把评测分为快速自动检查、模型与人工评估、真实产品结果三个层次，并按成本和反馈速度安排运行频率。好的评测能定位失败模式、建立回归基线，并让每次模型或提示修改都有可验证依据。

但很多问题并没有更好的答案，只有“正确”的答案，而这些模型无法做到这一点。不过，在这里我们遇到了一个问题，因为有些任务更好的模型会产生更好、更准确的结果，但还有一些任务没有所谓的“更好”的结果，也没有“更准确”的说法，只有对或错。这是相同的提示应用于 Midjourney 版本 3、4、5 和 6.1。今年或这个十年，这种变化如何以及是否会发生，是关于这些模型是否会持续扩展的中心辩论的一部分，实际上也是关于 AGI 的辩论，在这个问题上我们唯一可以肯定的是，我们没有一个理论框架可以告诉我们。如果你在 Claude 上尝试我上面的电梯问题，它会直截了当地告诉你这看起来像是一个特定的信息检索问题，并且它可能会产生幻觉，因此拒绝尝试。问一个LLM是否能够进行非常具体和精确的信息检索，可能就像问一个 Apple II 是否能够与大型机的正常运行时间相匹配，或者问你是否可以在 Netscape 中构建 Photoshop。

推理模型通过更长的计算过程、思维链、强化学习和蒸馏等方法，提高解决数学、代码和复杂决策问题的能力。文章梳理普通语言模型与专用推理模型的区别，以及训练阶段和推理阶段扩展计算的主要路线。具体模型名称会变化，但核心问题始终是如何用更多计算换取更可靠的推理，并衡量成本、速度与正确率。