在产品中使用大语言模型，需要同时处理能力、可靠性、延迟和成本。文章建议先建立对模型边界的正确心智模型，再用评测集验证具体场景，而不是依赖演示效果；产品设计还要允许不确定输出，控制调用频率和响应长度，并根据任务价值选择合适模型。可持续的 LLM 产品来自系统性权衡，而不是单次提示技巧。

构建成功的 LLM 产品需要同时处理战术、运营和战略问题。文章总结提示设计、评测、检索增强、人在回路、数据管理和模型选择等实践，并强调从演示走向产品的难点在于可靠性、反馈闭环和真实用户价值。模型能力只是组件，持续评估和系统设计决定产品能否长期运行。

Retrieval-Augmented Generation （RAG） 允许模型从外部来源提取实时的利基数据，从而增强其提供准确和详细响应的能力，从而帮助缓解这种情况。生成模型的 局限性 生成模型在大型数据集上进行训练，包括（但不限于）社交媒体帖子、书籍、学术文章和抓取的网页，使它们能够获得一般知识。 检索增强生成 （RAG） 是一个框架，它通过向生成式 LLM与从外部数据源检索的手头任务相关的额外数据来增强生成式 代码 id=g1001 LLM 的一般知识。RAG 架构 RAG 管道的基本部分可以分为三个部分：外部数据源、提示模板和生成模型。

构建 Agent 时，应先判断任务是否真的需要模型自主规划和调用工具；能用固定工作流解决的问题，不必增加代理复杂度。文章区分工作流与 Agent，介绍路由、并行、评估反馈和工具调用等常见模式，并强调从最简单方案起步，通过清晰边界、可观测性和评测逐步提高自主程度。

MCP（模型上下文协议）是一种新的开放协议，旨在标准化应用程序向大型语言模型 (LLMs) 提供上下文的方式。将 MCP 视为适用于 AI 代理的 USB-C 端口：它提供了一种将 AI 系统连接到各种工具和数据源的统一方法。 模型上下文协议 (MCP) 是一种标准化协议，可将 AI 代理连接到各种外部工具和数据源。模型上下文协议 (MCP)是一种将 AI 代理连接到各种外部工具和数据源的标准化协议 正如 USB-C 简化了您将不同设备连接到计算机的方式一样，MCP 简化了 AI 模型与您的数据、工具和服务交互的方式。每个 API 集成都意味着单独的代码、文档、身份验证方法、错误处理和维护。 MCP（模型上下文协议）最初是Anthropic ↗的一个项目，旨在使 AI 模型（如 Claude）更容易与工具和数据源进行交互。

把LLM应用做成演示很容易，做成生产系统很难，难点在于自然语言提示缺乏传统程序那种稳定边界。提示改一个词仍会运行，却可能输出完全不同的结果；模型生成格式不一定可解析，同一输入也可能得到不一致回答。工程上需要把提示当成可版本管理、可评估、可回归测试的资产，而不是一次性文案。少样本示例要检查模型是否真正理解，输出格式要用更明确的约束和解析策略，复杂任务应拆成更小步骤，再用控制流、SQL执行器、浏览器、API等工具组合。成本和延迟同样是生产约束：长提示在实验阶段便宜，在大规模推理时会迅速放大；输出令牌越多，响应越慢，链式思考和多次采样虽然提升可靠性，也会增加费用。生产级LLM系统需要接受一定不确定性，同时用评测集、提示追踪、温度控制、工具调用边界、失败处理和监控来压低风险。真正的LLM工程不是会写巧妙提示，而是把模糊模型放进可维护的系统里。

它利用 AWS 服务（Transcribe、Bedrock 和 Polly）将人类语音转换为文本，通过LLM 处理输入，最后将生成的文本响应转换回语音。POC 的高级设计包括为演示目的创建基于网络的界面、转录用户的口语输入（语音转文本）、获取LLM 生成的响应（LLM 和提示工程）以及播放LLM 生成的音频响应（文本转语音）所需的所有组件和服务。测试我们的LLMs （我们应该这样做，我们做到了，而且非常棒） 在 2023 年 9 月撰写的《为什么人工测试LLMs 很难》一书中，作者与数百名使用LLMs 的工程师进行了交谈，发现人工检查是测试LLMs 的主要方法。为了帮助测试，我们要求LLM 以结构化的 JSON 格式返回响应，其中一个关键字是我们在测试中可以依赖和断言的（"intent"），另一个关键字是LLM 的自然语言响应（"message"）。让我们通过一个需要处理 "打开 "任务的LLM 应用程序示例，来探讨基于属性的测试和自动评估器测试。

格罗宁根，马蒂尼托伦，在 Noorderplatsoen 的和平时期撰写文章的地方 对先进的检索增强生成技术和算法的全面研究，将各种方法系统化。检索增强生成（Retrieval Augmented Generation），又称 RAG，为 LLM 提供从某些数据源检索到的信息，作为生成答案的基础。chroma、weavaite.io 和 pinecone 等矢量数据库初创公司都建立在现有的开源搜索索引（主要是 faiss 和 nmslib）基础上，并在最近增加了输入文本的额外存储空间和其他一些工具。这个问题的目的是系统地介绍关键的高级 RAG 技术，并参考其实现方法（主要是 LlamaIndex 中的实现方法），以方便其他开发人员深入研究该技术。

AI 编程正在从逐次向 coding agent 编写 Prompt，转向设计能自主推进任务的 Loop。Loop 是一层自动编排逻辑：它调用 Agent、读取结果、判断是否完成，并根据反馈继续执行或停止；人的工作则上移到定义目标、验证标准、权限边界和失败处理。文章指出，Loop 并不是新的循环结构或简单定时任务，真正困难且昂贵的是可靠的反馈、验证、成本控制和停止条件。可持续积累的核心资产也不是某个 Loop 本身，而是能被反复调用、持续改进的 Skills 与工程约束。

真正落地的 AI agent，需要从需要人持续照看的同步模式，跨越到能在独立环境后台长期运行的异步模式，让人只在关键决策节点出现。文章据 Cursor 与 Inngest 的一线实践，把 AI 开发分为辅助、照看 agent、agent 团队自主工作三个阶段，指出同步交互下人的注意力会形成约 40% 的生产力天花板。工程上需要按任务组合模型，控制 mega PR、并行修改与合并冲突，并以 checkpoint 和 deferred function 构建 durable agent，使长链路任务能从失败处恢复和跨时间等待。评分、日志和可视化负责可观测性；低风险、可逆工作交给 agent，高风险、不可逆决策保留给人。工程师的核心价值因此从写代码上移到定义问题、规划任务和设计协作系统。