人工智能会不可避免地寻求权力吗？

人工智能会不可避免地寻求权力吗不能只看表面答案，真正重要的是理解问题背后的机制、边界和现实代价。AI’s “basic drives” 人工智能的“基本驱动力” 争论是这样的。如果我们把这个推向极端，我们可以想象一个人工智能为了获取金钱和权力而欺骗人类，禁用自己的开关，像伏地魔的魂器一样在互联网上复制自己的副本，使自己独立于任何人类控制系统（例如，通过建立自己的电源），在发生暴力冲突时武装自己，如果认为其他智能体是未来的潜在威胁，则首先对其发起打击，并最终发出冯·诺依曼探测器以获取所有资源在其光锥内致力于其目的。Steve Omohundro（2008）首先提出人工智能将具有这些“基本驱动力”；针对人工智能风险的两个常见论点是：（1）人工智能只会追求我们给它的目标，（2）如果人工智能开始行为不当，我们可以简单地将其关闭并修补问题。人工智能系统的目标可能是辅导学生熟练掌握微积分、增加最新 Oculus 耳机的销量、治愈癌症或回答 P = NP 问题。