每个人都在互相讨论，部分原因是我们都在从不同的基本概念出发来研究 "人工智能 "到底是什么--它是一个代理还是一个工具，是精灵还是神灯？你如何回答这个问题会影响到你对人工智能可解释性和安全性方法的各个方面。人工智能安全辩论的核心是对准的概念，毫不奇怪，对这一看似直观的概念的微妙的不同理解是辩论的大部分功能障碍的背后。例如，杰弗里-辛顿（Geoffrey Hinton）在最近的《纽约时报》采访中看到他主要担心的是 "邪恶的精神病患者 "的情况。萨姆-奥特曼（Sam Altman）也明确地将对准定义为 "人工智能做用户想要的事情"，尽管当被要求详细说明他的负面情况时，他通常是相当模糊的，但我们可以很有把握地假设是，"坏人用强大的人工智能做坏事"。X-riskers倾向于认为人工智能是高度代理的，并从群体影响的角度来模拟相关风险。
人工智能安全争论的麻烦在于，技术问题和部落立场已经纠缠在一起，而争论双方常常连“更强大的系统”都无法清楚定义。要求暂停训练超过GPT-4能力的模型，听起来明确，实际很难执行：GPT-4相对GPT-3的进步并不只是参数变大，而是数据、训练、微调、人类反馈、推理等许多环节的叠加。能力提升没有单一刻度，连开发者也需要开放评估工具，请外部帮助衡量模型到底在哪些任务上变强。于是，人工智能安全变成一种新的身份分界：有人把未来AGI想象成核武器式威胁，有人把当前模型看成有用但经常犯错的工具。没有现实中的AGI作为共同参照，双方都在拿各自脑中的图景做敌友识别。真正困难的政策问题不是喊停，而是怎样定义、测量和监管能力增益，同时避免把研究转移到更不透明、更难约束的地方。
人工智能政策不应被简化为进步、安全和民主参与之间的三选一。文章主张，对高风险能力设置约束，同时投资具有公共价值的应用和防御性研究，例如医疗、教育、公共讨论与风险响应。关键是建立透明治理和社会参与机制，让创新收益被更广泛分享，并降低模型滥用与失控风险。
DemoChen's Clip