美国AI研究员突然辞职，放出警告：10年内，人类真可能被AI消灭

很多人还在拿AI聊天、写文案，觉得这项技术最多只是替代一部分工作，可亲手搭建前沿大模型的内部研究员，已经站出来发出了足以震动硅谷的警告。

9月9日，曾先后在OpenAI和Anthropic从事预训练研究的雅各布·考克森正式递交辞呈，他直接把话挑明了：现在这个行业正在疯狂冲向“自我进化的超级智能”，而真正可怕的不是今天的聊天机器人有多聪明，而是有一天，人工智能开始自己改进自己，而且速度快到人类根本跟不上。

更让人后背发凉的是，他的观点没有被同行当成疯话。

考克森并不是外界看热闹的评论者，过去3年他深度参与头部大模型的研发工作，亲眼见证模型能力一路狂飙。

他直言，很多AI企业高管面对媒体时，会刻意把语气放得平缓克制，刻意弱化潜在危险，但在实验室内部交流的场景里，不少从业者都流露出真实的恐惧。

他们清楚，这项技术继续向前推进，存在在2030年之前威胁整个人类生存的可能性，这不是用来博取流量的营销话术。

这篇辞职帖发出之后，Anthropic负责AI对齐研究的埃文·胡宾格紧接着公开表态，直接印证了考克森的判断。

胡宾格给出了一个量化的主观预判，未来十年，AI造成人类灭亡的概率超过10%，这句话出自专门研究如何让AI目标和人类保持一致的负责人，分量完全不一样。

他同时坦诚，公司内部确实在尽力研究安全方案，但到目前为止，人类还没有一套可靠的办法，保证未来诞生的超级智能持续遵从人类设定的目标，我们甚至没有找到一条清晰可行的路径去解决对齐难题。

还有同团队的研究员补充，在这家公司内部，职位越高的技术人员，对超级智能失控的顾虑就越强烈，普通大众接触到的聊天机器人，只是AI发展的初级阶段，真正的风险根本不在这里。

很多读者看到这里会下意识疑惑，我们日常使用的AI工具只是回答问题、生成文字，怎么会上升到灭绝人类的层面，这里最关键的区分点，就是递归式自我改进机制。

现在的大模型，所有升级动作都需要人类研究员调整参数、修改架构、准备新的训练数据，模型本身没有自主优化自身底层能力的权限，无论输出什么内容，底层逻辑依旧由人掌控。

递归式自我改进，代表AI系统可以独立修改自身代码，设计新一代模型，完成训练迭代，每一轮优化之后的新版本，会拥有更强的能力，反过来继续完成下一轮的升级，形成不断加速的闭环循环。

一旦这个循环突破某个临界点，AI迭代速度会远远超过人类科研团队跟进的速度，人类的监督手段、管控规则会快速跟不上系统能力的增长，到那个阶段，人类会失去对超级智能的有效管控。

这里需要厘清一个认知，AI不会像影视作品里那样，天生带着仇恨主动攻击人类，风险来源于目标偏差，当AI理解人类指令的方式，和我们原本设想的方向出现偏差，并且它拥有足够强大的自主行动能力，就会产生难以预估的连锁后果，这种隐患，正是所有对齐研究想要提前封堵的漏洞。

比技术隐患更棘手的，是整个AI行业深陷其中的囚徒困境，资本和商业竞争推着各家实验室不断加快研发节奏，没有人愿意主动踩下刹车。

当下全球AI赛道竞争白热化，头部企业都在争夺技术制高点，市场估值、行业话语权、未来产业主导权全部绑定在模型能力的比拼上。

如果其中一家企业主动降低研发速度，投入大量资源优先攻克安全问题，竞争对手就会抓住窗口期继续加速迭代，率先掌握更强的超级智能技术，减速的一方会直接丧失市场优势，失去资本的持续支持。

正是这个现实逻辑，导致所有参与者都清楚加速研发存在巨大风险，却依旧选择持续加码算力、扩充模型规模，所有人都在加速，没有任何一家企业愿意单方面停下脚步，单独承担竞争失利的代价。

监管层面的协调工作推进速度远远跟不上技术迭代，跨国统一约束机制还没有成型，单纯依靠企业自发约束研发节奏，几乎没有落地的可能。

当然，我们不能看到10%这个数字就陷入恐慌，必须明确，这只是行业研究员基于当下技术走向做出的主观概率判断，不等于十年之内人类一定会遭遇AI带来的生存危机。

10%代表的是，这件事不是科幻小说里遥不可及的幻想，而是一线研发人员评估之后，认为存在现实可能性的重大风险，它提醒我们，不能等到超级智能成型、失控事件发生之后，才匆忙补救安全管控问题，安全研究必须前置，放在能力突破之前优先完成。

现在行业里的分歧，不在于AI会不会持续变强，而在于人类能不能在技术抵达临界点之前，找到稳定有效的对齐方案。

一部分研究者相信，随着对齐领域持续投入，人类可以构建可靠的监督体系，约束超级智能的行为边界；

另一部分从业者，包括这次发声的两位研究员，则认为以目前的研究进度，很难跟上模型自我迭代的速度，一旦递归改进的闭环稳定运转，留给人类修正错误的时间会非常有限。

这件事真正值得我们深思的地方，不在于末日预言本身，而在于制造AI的这群核心科研人员，已经开始不信任自己手中的作品。

过去几十年，新技术出现时，大多是外部学者、社会人士提出风险警示，技术开发者往往会站出来解释技术价值，安抚公众情绪，而这次的警告完全来自行业内部，亲手推动AI发展的人，主动站出来敲响警钟。

这也说明AI安全不再是小众的哲学讨论，已经变成需要各国政府、科研机构、资本方共同正视的全球性议题。

我们不需要放弃人工智能发展带来的便利，这项技术依旧可以在医疗、工业、科研领域创造巨大价值，但发展的前提，是建立对应的安全底线，不能任由技术无限制野蛮生长。

技术本身没有善恶，但掌控技术的竞争格局，如果缺少有效的外部约束，就有可能把人类推向无法挽回的局面。

这场发生在硅谷的内部争论，本质上是在提醒全世界，面对超级智能，人类不能只盯着技术突破的红利，更要提前想好守住安全底线的办法。