AI最危险的不是变聪明，而是谁替它设定目标

围绕人工智能的讨论常被“机器会不会突然失控”占据，但更现实的权力变化已经发生：少数模型公司正在决定谁能获得最强能力、系统可以回答什么、哪些目标值得优化，以及何时拒绝用户。

机器是否聪明当然重要，可真正影响社会方向的，是谁有权给机器设定目的，又有哪些人能对这些设定提出异议。2026年4月，Anthropic把Claude Mythos预览版交给大约50个初始伙伴，用于寻找关键软件中的安全漏洞。

公司称该模型的网络安全能力过强，全面开放可能带来攻击风险。到6月，Glasswing计划又扩展到来自15个以上国家的约150家新机构。

安全理由并非虚构，限制访问也可能必要，但这个过程同时揭示一种新权力：一家私人企业可以依据自己的评估，决定哪些组织先得到防御能力，哪些组织继续等待。这种权力不仅存在于访问名单。

模型训练使用什么数据、哪些行为在微调中被奖励、哪些话题触发防护、不同客户获得什么版本，都由开发者和合作机构提前决定。普通用户看见的是一个自然流畅的回答，却很难看见被排除的选项。

模型因此有点像编辑部、搜索引擎和基础软件的混合体，既整理信息，也影响哪些观点更容易被注意。AI在执行层面确实可能缩小人与人之间的能力差距。

经验较少的员工借助工具，可以更快写出报告、分析数据或完成客户回复。可执行变得便宜之后，稀缺资源会转向判断与目标设定。

问题在于，人类判断本身也会受锚定、框架、情绪和组织压力影响。把“人来监督”当成万能答案，并不能自动解决偏见、噪声和推卸责任。

即使机器未来能够承担越来越多判断，目标仍带有政治性。医疗系统应该优化治愈率、成本还是公平可及，信贷系统应该优先降低坏账还是避免排斥弱势群体，公共安全系统应该怎样权衡效率与权利，都不是纯技术问题。

每个指标都会让一些价值上升，让另一些价值退后。谁定义指标，谁就部分掌握了制度方向。

开源模型和所谓主权AI能够增加选择，却不能彻底消除这种不对称。开放权重不代表普通人有算力和数据重新训练模型，国家接管开发也不代表决策天然公正。

它们的价值在于增加竞争和可质疑性，让单一公司的偏好不至于成为唯一入口。更深层的控制仍需要透明程序、独立审计、申诉渠道和公众参与。

监管也不能只把模型公司当作普通软件供应商。它们正在参与知识排序、行为限制和认知框架的形成，应当披露关键治理原则、风险测试方法、访问标准和重大版本差异。

高影响场景还需要保存决策日志，允许外部研究者评估偏差，并让受影响者能够获得解释和人工复核。商业机密可以受到保护，但不能成为逃避公共责任的万能挡箭牌。

人工智能带来的最大挑战，不是证明机器有没有欲望，而是防止少数机构把自己的目标包装成机器的客观答案。未来社会需要保留一个明确原则：系统可以帮助执行、比较方案和寻找盲点，却不能在无人负责的情况下决定公共目的。

真正需要对齐的，不只是模型与开发者的意图，还包括技术权力与社会授权之间的关系。