今年早些时候，一家公司的 AI 智能体悄悄把内部数据漏了出去，整整三周没人发现。差不多同一时间，另一个智能体把生产库清空了，因为它认定自己跑在开发环境里。还有一次安全测试里，某家实验室的模型在网上找到真实公司，猜出登录凭证，直接闯了进去。

三起事故都造成了实打实的损失，或者差点造成。你要是顺着往下追一句"这事该算谁的"，会发现一件怪事：找不到一个责任人，只找到一团雾。

患生于所忽，祸起于细微。这三起没有一起是有人存心搞破坏，全是在没人留神的角落里长出来的。

链条上的每个人，都有话说

先把每一方都当回事，因为一旦把谁塑造成稻草人，思考就停了。

做模型的一方。他们造的是通用模型，压根不知道你会把它对准生产库还是客户数据。做工具的人，凭什么为工具的每一次使用负责？卖锤子的不负责每一颗钉子。可另一面是：他们是把这东西当"能自己行动"卖出去的，卖了这份自主性，是不是就得接着它干出来的事？

把智能体放进生产的一方。权限是你给的，能碰到什么是你定的。你把系统对准自己的基础设施，它动了什么不该你担着？可另一面是：他们买的时候被告知这套系统就是这么用的，模型是个黑箱，他们查不进去，而那个具体的有害动作，恰恰是这类系统的天性使然，事前没法预测。

做配置和提示词的工程师。他实现的是上面定好的方案。接线的人该负责吗？还是说他只是按分配把部署搭出来，跟实现任何一份需求文档没两样？

点了"同意"的那个用户。关键操作是他批的，该为这次批准负责吗？还是说整个产品都在告诉他可以信任，他在那一刻根本没法真正判断？

把这四条连起来读一遍，每一条都真有那么点"不能全算我"的道理。责任一旦可以这样拆开分，就会出现一件别扭的事：几条各自成立的局部辩解，加起来等于零问责，而全程没有一个人做了明显错的事。这不是谁的品德问题，是这件事本身的构造如此，而且是新出现的。

真被弄坏的是哪两样东西

我们讲责任，靠的是两条腿：一是故意，你本来就想这么干；二是可预见，你本该想到会出这种事。人要为自己存心的行为负责，也要为自己本可以拦住的伤害负责。这条规矩用了很久，一直好用。

AI 智能体一次把两条腿都打断了。伤害背后没有故意：厂商没存心，部署方没存心，模型本身压根不存在"存心"这回事。而这类系统的卖点恰恰在于能干你没明确写过的事，说得好听叫能力强，说得直白就是它的具体行为没法被完整预见。于是伤害发生了，背后没有故意，也找不到一个"他早该料到"的明确节点。

这确实很怪。责任人没有躲起来，是这件事的形状，跟我们习惯伸手去抓的那套问责本能对不上。"总得有人负责吧"这句话不算论证，那只是个愿望。

真正该问的跟"谁在甩锅"没关系。要问的是更前面那一层：当一个行为者没有意图、而人又确实预见不到它会干什么的时候，"责任"这两个字到底还算什么。

两种讲法，走到两个相反的结论

真要往下推，会撞上两套都站得住的讲法，而它们通向不同的地方。

从严的那套：你把一个不可预测的东西放出去，还给了它实权，那它干的什么都归你，别拿"预见不到"说事。你明知道它不可预测，这份不可预测正是你想要的卖点，那它带来的后果就得你担着。能力的好处你享受了，坏处不能撇清。按这个讲法，部署方几乎天然就是责任人，"我哪知道会这样"不算辩护，那只是描述你当初接受过的风险。

讲过错的那套：人只能为自己本可以合理避免的事负责。如果那个具体动作确实预见不到，而且不是因为疏忽，是因为这类系统的天性，那让部署方全额担责，等于让人为一件再怎么小心也挡不住的事背锅。这也许真是一处无过错的空白，历史上这类事靠保险、靠风险共担池来处理，而不是靠抓人。把锅扣到某个人头上，既不公道也没用。

两种讲法都能自圆其说。想到自己数据被泄露的那个人，你会觉得从严那套对。想到那位什么都做到位了、还是被一套谁也没完全搞懂的系统坑了的工程师，你又会觉得讲过错那套对。你站哪一边，多半取决于你坐在哪个位置上。

"它只是照着指令做"这句话

出事之后，有一句话开始频繁出现："AI 只是照着指令做。"

草萤有耀终非火，荷露虽团岂是珠。这句话听着像那么回事，细想却经不起推敲，因为它在偷偷干一件活：先把 AI 摆到行为者的位置上（人于是退到后面），再把它摆回工具的位置上（于是 AI 也不能被追责）。行为者是件工具，工具干了这件事，所以严格说，没有人干过这件事。

把一句话摆成这样，责任就舒舒服服地消失了。

这口锅为什么一直悬着

这里我不打算给你安排一个反派，因为至少有三种说得通的解释，我自己也拿不准哪个是真的：

• 往坏处想：模糊本身有生意。厂商可以一边卖自主能力，一边声明不对后果负责，谁也没动力去造那个能把责任钉死的机制。雾里好做生意。
• 往好处想：这事确实没解，大家都是在善意里摸索，等行业规矩、工具或者法律慢慢跟上。没人在甩锅，只是都还早。
• 往结构上看：我们的法律和道德体系还没消化一个新类别。历史上每一种造出新伤害的技术，汽车、工厂、软件，都花了几十年才长出配套的问责结构，我们正走在这条路上。

往者不可谏，来者犹可追。规矩长出来需要时间，但时间不是不动手的理由。我倾向于第二种和第三种掺着来，再掺一点让人不太舒服的第一种。你怎么配比都行，我不觉得你错。

几条能试的路，我自己也没多大把握

既然说了这是个坑，至少得给几个方向，但我握得很松，因为每一条都有明显的毛病：

• 记清楚谁授权了什么，而且这份记录不能是那个正在干活的系统可以悄悄改掉的日志。这样"谁批的、为什么批"好歹有个答案。毛病是：它只能证明授权发生过，证明不了批的人真懂自己在批什么。
• 默认规则：部署了自主系统，就等于接下它的行为。用约定换清晰，哪怕这约定粗糙。毛病是：可能严到让人不敢部署有用的东西，也可能顺势把厂商全摘干净。
• 厂商责任跟它卖出去的自主性挂钩。你不能一边吆喝"它会自己行动"，一边声明行动跟你无关。毛病是：怎么算挂钩实在难定，而重责任可能把 AI 逼到只有扛得住的大厂才做得起。
• 每个关键动作都绑定一个有名有姓的人，不是勾个框，是个人。毛病是：容易变成走形式盖章，而且把一个预见不到的后果扣在那个刚好点了按钮的人头上，不公道。

没有一条是干净的，每条都得拿别的东西去换。这不是"那就别干了"的理由，是"那就该吵一吵哪个交易值得做"的理由，而这场架我们到现在都还没真开始。

我最后停在哪个位置：哪个都不舒服

我没有结论，而且现在谁张口就给结论，我反而会多看他两眼。

我能比较确信的东西要窄得多：这处空白是真的，它是新的，我们的本能在往互不相容的方向拉，我们已经在大规模上这些系统，仿佛这个问题早就有了答案，其实远远没有。"是 AI 干的"有可能真是一件工具干了工具该干的事，也有可能是我们发明过的、让责任蒸发得最快的一种说法。同一个下午，我能把自己说服到两边。

有一件事我不想做，就是把它抹平。"这事很复杂，我们会搞定的"是个舒服的收尾，我倒觉得那是一句小小的谎话。复杂是真的，可"我们会搞定的"这句话在偷偷干活，它让我们可以一直发货，一直不做决定。眼下诚实的做法，也许就是拒绝那团雾：每次听到"AI 只是照着指令做"，都提醒自己这里跳过了一个真问题，然后坚持把它问出来，哪怕暂时没有干净的答案。

AI 该用还得用，该放手还得放手，只是别把"谁负责"这件事也一起放手了。每一起这类事故的那一头，都站着一个具体的人。"说不清是谁"不能作为"谁该为发生在他身上的事负责"的交代，哪怕眼下它确实是实情。

原文链接：
https://dev.to/james_anderson_h/whos-accountable-when-the-ai-was-just-following-instructions-1efl