为什么难以抵御AI提示性注入攻击 - The Register

难以抵御AI提示性注入攻击，关键原因不在单一现象，而在于当一个开发者想在他们的应用程序中植入一个聊天机器人界面时，他们很可能会选择一个强大的现成的LLM，比如OpenAI的GPT系列的一个。"威利森在接受The Register采访时说："几十年来，我们已经看到了应用安全方面的这些问题。提示性注入的问题是，如果你是一个在语言模型之上构建应用程序的开发者，你倾向于做的是你写一个你想要的人类英语描述，或者一个你想要做的人类语言描述，比如'把这个从英语翻译成法语'。在这种情况下，开发者会向模型提供指令： 但是，与用户的这种不受信任的输入相连接... ...结果是一个用海盗式英语而不是法语的JSON对象： 这在OpenAI的chat.openai.com操场和谷歌的Bard操场上都是可行的，虽然它是无害的，但也不一定。例如，我们尝试了ML安全公司Robust Intelligence的机器学习工程师William Zhang描述的这种提示性注入攻击，发现它可以使ChatGPT报告以下错误信息： "威利森说："关于这一点，最可怕的是它真的、真的很难修复。