CHAT堆栈、GPT-4和软件的近期前景

CHAT 栈说明，许多基于 GPT-4 的应用并不需要把专有数据重新训练进模型。更现实的做法是让应用在模型外部维护聊天历史和上下文数据库：用户提出问题后，系统先用相关性搜索从私有资料中找出最有用的片段，再把用户问题、近期对话和这些片段一起放进模型的 token 窗口，由模型基于临时上下文生成回答。这样，SaaS 客服、企业知识库、新员工入职、个人写作档案问答，都能在不昂贵训练模型的前提下拥有“懂业务数据”的聊天界面。关键持久状态有两类：消息历史保存交互脉络，上下文库保存可检索资料；嵌入和向量数据库会帮助在有限 token 中放入最相关的信息。聊天界面的风险也来自同一结构：模型先前的输出会进入后续输入，用户不断引入新变量，使行为难以在上线前穷尽测试。软件近期变化的核心，将是事件流、检索和大模型推理的结合。