如何在产品中使用 LLMs ?

在产品中使用 LLMs，关键是把目标、限制和可执行步骤放在同一个框架里，而不是只追求单点技巧。去年，我一直在直接研究LLMs 对现有产品的意义，并想打出一些半散乱的笔记。许多业内人士仍在为LLMs 建立心智模型，这导致他们对LLMs 能做什么以及我们应该如何使用它们产生了许多推理错误。LLM 您可以使用 evals（针对一组已知提示运行LLM 、记录响应并评估这些响应）来评估LLM 在特定场景中表现良好的可能性。一般来说，使用更大的模型可以提高精确度，但成本会更高，延迟也会更长--例如，GPT 4 是比 GPT 3.5 更大的模型，通常能提供更高质量的响应。即使是速度最快的LLMs 也没那么快，即使是速度最快的LLM 也可能需要 10 多秒钟才能提供合理大小的响应。相反，如何在不大幅缩减利润的情况下，为消费者业务中大量使用LLM 支付费用，则是一个非常具有挑战性的问题。