人工智能安全：技术与人种学概述

人工智能安全争论的麻烦在于，技术问题和部落立场已经纠缠在一起，而争论双方常常连“更强大的系统”都无法清楚定义。要求暂停训练超过GPT-4能力的模型，听起来明确，实际很难执行：GPT-4相对GPT-3的进步并不只是参数变大，而是数据、训练、微调、人类反馈、推理等许多环节的叠加。能力提升没有单一刻度，连开发者也需要开放评估工具，请外部帮助衡量模型到底在哪些任务上变强。于是，人工智能安全变成一种新的身份分界：有人把未来AGI想象成核武器式威胁，有人把当前模型看成有用但经常犯错的工具。没有现实中的AGI作为共同参照，双方都在拿各自脑中的图景做敌友识别。真正困难的政策问题不是喊停，而是怎样定义、测量和监管能力增益，同时避免把研究转移到更不透明、更难约束的地方。