一向对科技进步很乐观的比尔·盖茨，这次把话说得很重。9月25日公布的NBC《与媒体见面》采访片段中，他警告说，AI已经强大到足以推动“导致十亿人死亡”的事件发生，危险的，是恶意人士拿到更强的AI工具。

这句话听着比核武器还吓人。但盖茨真正担心的到底是什么？是AI自己突然失控，还是有人借AI把网络攻击、生物风险和大规模欺诈放大到过去根本做不到的程度？更关键的是，这种担忧已经不只是硅谷内部争论，而是被摆到了联合国安理会和中美对话桌上。

盖茨真正警告的，不是“机器突然造反”

盖茨预测“AI一定会杀死十亿人”，也没有给出这种灾难发生的概率。他的原话是，AI“足够强大，能够推动导致十亿人死亡的事件”，随后又强调，从来没有一种武器，能像“恶意人士加上最新AI工具”这样的组合一样危险。

我认为，这个区别非常重要。很多人一听AI威胁，就想到机器人失控、机器接管世界，但盖茨这次讲的风险其实更现实：AI会把一个原本能力有限的坏人，迅速变成拥有高水平代码、生物知识、诈骗能力和信息操纵能力的“超级放大器”。

8月26日，盖茨就在个人网站上专门谈过这一点。他列出的风险包括网络攻击、欺诈、深度伪造、虚假信息，以及针对医院、金融机构、供水系统、电网和政府系统的攻击。他甚至特别提到，AI在帮助研发药物和疫苗的同时，也可能降低设计危险病原体的门槛。

这就是AI和传统武器不一样的地方。核武器当然破坏力巨大，但获取、制造、运输和使用门槛都极高。AI最大的麻烦，是它可以低成本复制、跨国传播，而且能力还在持续迭代。今天一个模型能帮人写代码，明天它可能就能自动寻找漏洞、制定攻击步骤甚至隐藏痕迹。

所以我更愿意把盖茨的警告理解为：未来真正可怕的，不一定是一台“有意识的机器”，而是越来越强的AI，把人的恶意、错误判断和极端行为放大到前所未有的尺度。

盖茨也没有因此否定AI。他仍认为AI能改善医疗、教育和科研。问题就在这里：同一个模型既能帮医生找药，也可能帮坏人寻找攻击路径。它不是简单的“好技术”或“坏技术”，关键在于能力扩散之后，谁能使用、能用到什么程度，以及出了问题谁来负责。

为什么硅谷自己都开始喊“刹车”？

更值得玩味的是，发出危险警告的并不只有盖茨。Anthropic员工雅各布·考克森本月离职时，公开批评Anthropic和OpenAI竞相开发超级人工智能，是在“拿我们的生命冒险”。

另一名Anthropic员工甚至判断，未来十年AI导致人类灭绝的概率超过10%。这些都是个人判断，不是已经被证实的科学结论，但它们说明，最接近前沿模型的一批人，焦虑确实在快速上升。

美国公众的态度也在变。路透社/益普索9月公布的一项调查显示，73%的美国受访者担心AI企业没有采取足够措施防止灾难性后果，55%支持放慢AI发展速度。调查覆盖1277名美国成年人，误差范围约3个百分点。

盖茨给出的答案也很明确：不能再只靠企业自我监管。他认为，执法部门和政治决策者必须参与进来，安全措施和监督机制需要成为强制要求，而不是公司愿意做多少就做多少。

在我看来，这才是问题最棘手的地方。AI公司一边提醒外界“这项技术可能非常危险”，另一边又必须抢人才、抢算力、抢市场、抢下一代模型。如果一家企业主动减速，竞争对手却继续加速，谁先踩刹车，谁就可能先丢掉商业优势。

这也是为什么单纯要求企业“自觉一点”很难解决问题。

AI安全不是普通产品质量问题，它已经越来越像核安全、航空安全和金融系统风险：一家公司判断失误，后果可能跨越公司、行业甚至国界。

当然，行业内部那些“10%灭绝概率”“末日风险”仍然属于个人判断，不能当成确定结论。但网络攻击、深度伪造、诈骗自动化这些风险已经发生在现实世界。把已经出现的问题和未来极端风险分开看，反而更能说明监管为什么不能等到灾难发生以后才启动。

AI安全已经变成大国之间必须谈的问题

9月23日，联合国安理会召开“人工智能与国际安全”会议。OpenAI首席执行官萨姆·奥尔特曼、Anthropic首席执行官达里奥·阿莫代伊等参与讨论。

会前，路透社还披露，DeepSeek和月之暗面等中国AI企业受到邀请，当时最终安排仍可能变化；联合国会后公开信息则确认了OpenAI和Anthropic高层的通报。

早在2023年，安理会就第一次专门讨论AI风险。三年后再把企业负责人请到国际安全议程上，说明这件事已经进入全球治理层面。

更有意思的是中美。9月20日，中美经贸团队在纽约会谈时，美方提出中美AI安全通报机制，希望在涉及国家安全级别的AI事件出现时，两国能够增加透明度和沟通。9月22日，中国外交部再次强调，各方应共同推动人工智能开放、包容、普惠、向善发展。

但矛盾也很清楚。美国一方面担心AI失控，另一方面又担心放慢速度会让中国追上。中国反对把AI治理变成技术封锁和阵营竞争。

这就形成了一个很现实的悖论：大家都知道AI需要安全护栏，可一旦进入大国竞争，谁都怕自己先减速。中方此前也明确表示，散播威胁叙事、搞对抗和恶性竞争，会干扰全球AI治理。

我认为，未来AI治理最大的难点就在这里。技术本身发展得太快，而国际规则又太慢。如果各国最后只剩下“我不能让对手先赢”这一条逻辑，那么再多安全警告，也可能被竞争压力盖过去。

盖茨这次把“十亿人死亡”摆上台面，真正想提醒的并不是世界末日已经到来，而是AI的能力增长速度，正在逼近现有监管和国际协调机制的极限。AI能治病、提高生产率，也能降低作恶门槛。技术越强，这两面就越明显。

在我看来，接下来最该争的不是“AI到底该不该发展”，而是能不能在继续发展的同时，把最危险的能力关进制度笼子里。因为一旦真正跨过某条失控的线，再讨论监管，可能就已经太晚了。