本刊策划丨防范和化解人工智能安全风险

【作者简介】鲁传颖，同济大学政治与国际关系学院教授、网络空间国际治理研究基地常务副主任

人工智能是一个技术、数据与应用场景深度耦合的复杂系统，其安全威胁呈现跨层级传导、多领域交织的显著特征，因此，人工智能技术天然具有风险泛在性。未来随着人工智能的大规模普及，其所产生的风险也将广泛存在于国家与社会的各个领域。如何深刻理解并有效防范人工智能风险，成为制约人工智能发展的关键。

一、人工智能安全风险框架

从人工智能的危害后果、影响范围以及与传统安全风险互动的角度出发，可以构建出一个分级、分类、分场景的系统性安全风险框架。

（一）基于危害后果的风险分级

根据人工智能对人类福祉的潜在损害程度及影响范围，其系统性安全风险可分为生存性风险、灾难性风险和一般性风险三级梯度。生存性风险指因人工智能能力取得实质性进步，直接对人类长期生存潜力构成威胁的风险，可能导致人类彻底灭绝，或使人类基本生存条件、生存环境不可逆转地陷入极其低劣的状态。这一风险的核心根源在于，人工智能系统在发展能力同时，其目标与人类价值观之间可能产生严重偏差。例如，具备自主决策能力的致命性自主武器系统（LAWS）若突破伦理约束边界，可能片面追求短期作战效能而忽视其作战方式所带来的长期后果，触发对人类文明不可逆的灭绝性影响。

灾难性风险表现为人工智能在短期内造成社会系统崩溃，波及所有或大部分人类的风险。人工智能系统对物理、生物机体、生态系统及社会系统的干预均可能造成系统性危害，使各关键领域趋于崩溃或难以持续。而人工智能的不可解释性特征阻碍了人类对风险进行干预的进程，使灾难性后果进一步扩大和延宕。典型案例如金融人工智能工具因训练数据缺陷迅速放大负面反馈循环，导致人类无法及时介入和制止金融危机爆发，进而诱发社会信任危机，甚至威胁政府治理的稳定。

一般性风险涵盖人工智能应用中持续积累的局部性隐患。系统故障、算法歧视、数据泄露等问题虽具渐进性特征，但可能构成系统性危机的触发条件。例如，算法系统对部分群体的选择性歧视，不仅损害社会公平，更可能削弱公众对技术治理体系的信任基础。

（二）基于影响范围的风险分类

人工智能风险的泛在性还体现在其对国际安全、国家安全、公共安全、个人安全等多层面的影响上。由于人工智能技术的两用性，导致技术扩散速度和应用渗透范围极为广泛，在赋能发展、提升效率的同时，也给国家与社会的各个层面带来了不同程度的风险挑战。

在国际安全层面，人工智能的风险表现为技术权力对国际安全秩序的潜在重构。人工智能系统的跨国技术竞争、战略博弈及技术扩散过程，加剧了国际安全的不稳定。依托于全球化的人工智能技术环境、国家技术实力不对称、战略信任缺失及各领域相互依存趋势共同引发新兴技术军备竞赛，甚至引发区域性冲突和全球战略平衡失调。同时，人工智能技术为各国发展电子战、认知战、网络攻击等信息化武器提供了可能，也降低了国际恐怖主义、犯罪分子和黑客组织实施跨国恶意攻击的门槛，继而加剧战略互信赤字，形成由技术特征驱动的安全困境。

在国家安全层面，人工智能技术对国家治理的基础构成复合性冲击。在政治安全层面，人工智能技术支持的算法推荐机制可能潜移默化地扭曲公众的政治认知；在经济安全层面，人工智能技术的发展不断提升自动化程度，导致结构性失业、极端贫富分化以及垄断优势的循环增强；在军事安全层面，人工智能技术显著降低使用暴力的成本，其不确定性可能破坏军队运作的可靠性基础；在社会安全层面，人工智能支持的深度伪造技术冲击现有法律体系，并扩大了思想观念的鸿沟，动摇社会共识基础。

在公共安全层面，风险表现为关键基础设施因人工智能技术融入而变得更加脆弱，进而可能导致公共服务失效。自然灾害监测、交通监控、犯罪侦查、网络信息安全等系统已引入人工智能技术，一旦出现技术漏洞或遭受恶意攻击，极有可能导致交通瘫痪、能源中断等系统性崩溃风险，造成公众生命财产的极大损失。在突发公共事件中，人工智能系统失灵亦会加剧救援调度混乱与公众信任危机。

在个人安全层面，人工智能技术带来了对公民权益的新型侵害。人工智能在数据收集、存储和处理过程中，生物识别的滥用将导致隐私权受损，算法操控可能削弱个体决策自主性和事实甄别能力，生成式人工智能创造的深度伪造内容侵害人格权和误导心理认知。

（三）与传统安全领域互动产生新的风险

人工智能技术在为各行业和领域赋能的过程中将会加速风险迭代，引发新的危机。人工智能技术安全风险的特殊性，根植于人工智能技术的独特属性及其与社会系统的深度交融。算法自主性加速风险传导，数据依赖性扩大影响范围，场景泛在性阻碍风险识别。这种技术与社会的高度耦合，使得传统安全领域在与人工智能结合后，原有的安全风险不断被激化。例如，近年来不断加剧的技术地缘冲突、供应链安全和虚假信息传播都是典型案例。

在地缘政治层面，技术竞争成为激化矛盾的新焦点。一方面，人工智能技术优势被视为国家力量投送、发挥影响力、驾驭地缘政治格局的核心指标，因而大国间倾向于争夺人工智能技术发展主导权；另一方面，发展和应用人工智能技术所需的数据、算力和算法也成为安全竞争焦点，甚至被“泛安全化”，围绕芯片、数据集和算法开发的技术脱钩风险持续累积，削弱全球治理的合作基础，推动技术联盟对抗。

供应链安全层面的脆弱性显著上升。在人工智能系统开发、部署和运行过程中所依赖的开源组件、第三方硬件和软件可能潜藏安全隐患，引发关键技术断供或生产体系瘫痪。供应链中的薄弱环节可能因外部恶意行为、内部安全管理不足、组件更新与管理机制不安全而被阻断。例如，物流供应链管理软件若遭算法后门渗透，外部网络、电子、信息等攻击手段可借此绕过安全措施，导致物流系统全面失效。

在信息传播层面，人工智能带来的威胁更是呈指数级增长。一方面，生成式人工智能有能力应用深度伪造、多模态造假、编造误导性信息，作为吓阻、欺骗、操纵、控制或破坏稳定的高效武器，突破传统事实核查机制；另一方面，虚假信息的工业化生产在算法的助推下愈演愈烈，算法推荐形成的“信息茧房”加剧了社会的认知分裂。而当这些虚假信息回馈至训练数据集时，便会形成一个自我强化的恶性循环。

二、人工智能治理的理论探索

从人工智能面临复杂、立体的风险来源可知，传统的单一维度、功能、模式的治理机制已经无法有效发挥作用。因此，针对复杂性议题的治理机制复合体成为人工智能治理的主要选择。根据约瑟夫·奈的定义，“治理机制复合体”是由一组松散耦合的机制共同组成，能够共同发挥治理作用。相较于环境和网络安全领域，人工智能治理机制复合体是由技术治理、多行为体协同、多种治理工具共同组成的更加复杂的治理体系。

（一）技术要素治理

与环境、网络等其他领域的机制复合体相比，人工智能治理机制复合体最大的特点是技术治理发挥着底层逻辑作用。人工智能的风险既源于技术本身的固有缺陷，也源于技术的滥用或过度使用。对这两种风险来源，技术治理不仅可以在最大程度上发挥减少和避免风险发生的作用，还能最大程度减少风险治理的成本。因此，注重算法、数据和算力层面的技术治理成为人工智能风险应对的优先目标。

在基础模型层面，治理重点在于消除算法的设计缺陷与价值偏差，解决其伴生的知识幻觉、价值偏见及噪声污染。一是通过提高人工智能系统的可解释性和可预测性，以正确反映其产生结果的过程；二是通过在设计、研发、部署、维护过程中设立目标、规则和默认值，推动模型开发的自我管理；三是借助技术或伦理委员会和外部专家进行模型评估，以此提升模型的鲁棒性，确保算法输出符合预期目标。

在数据治理层面，则需在采集、存储、传输及处理的全流程推行技术方案，以确保数据在整个生命周期中的安全可靠。第一，治理主体在收集和使用训练数据时需取得动态授权，防止侵犯知识产权和隐私信息；第二，在数据存储和传输过程中，采用强加密技术和访问控制手段，定期进行安全审计；第三，对训练数据进行定时清理、人工审查和偏见检测；第四，训练数据需引入辅助工具制定明确的标注指南，保障系统目标的一致性。

在算力治理层面，主要关注物理基础设施的冗余备份设计与智能调度机制。保障算力安全不仅要求提升硬件系统的防护能力，预防因为黑客攻击或资源滥用引发的服务中断，还应使用具有分布式计算和弹性扩展功能的资源分配架构、采用节能技术优化计算资源及合理分配任务优先级等，提升算力资源利用效率与抗风险能力。

（二）多行为主体协同

人工智能风险影响的广泛性决定了其治理机制的构建必须要有不同层级的主体参与。由于人工智能风险涉及国际安全、国家安全、公共安全和个人安全等多个层次的风险，相关的国际组织、主权国家与非国家行为体自然成为治理的主体，并且需要在治理进程中形成互补协同的治理力量，从而构建多层级的治理网络。

由于人工智能发展应用的跨国特性，国际行为体成为人工智能国际治理的主力。联合国、二十国集团、经济合作与发展组织等国际组织和国家间合作平台推动人工智能安全治理平台建设，鼓励各利益攸关行为体通过多边合作和对话，制定统一或兼容的技术标准、伦理规范和安全准则。例如，联合国秘书长古特雷斯在2023年7月提出的《新和平纲领》（A New Agenda for Peace）中，点明“基于多边”“弥合鸿沟”“平等参与”的治理原则，强调联合国作为“包容性、平等且通用的人工智能治理协调平台”作用，倡导构建“可信赖、基于人权、安全和可持续并促进和平”的人工智能。

非国家行为体，包括国际非政府组织、大型科技企业、学术团体等，这一行为体主要凭借技术专长积极参与治理规则塑造。作为人工智能主要的生产者和运用者，科技企业通过设立内部伦理委员会、开放模型审查接口、提供安全风险的结构化技术解决方案和直接参与国际合作方式履行治理责任。2017年，全球数千名专家和企业代表所签署的《阿西洛马人工智能原则》（Asilomar AI Principles）业已成为行业自律基准，体现出非国家专业共同体在安全治理中的关键作用。

（三）治理工具集

技术与行为体之间的互动产生了不同的治理模式。根据治理议题的性质、影响范围大小和成本的高低，形成了规范、法律和技术标准等多种不同治理手段配合使用的治理工具集。

规范治理通过价值引导与标准约束引导技术研发应用方向。规范治理评估现有的制度和技术安排能在多大程度上符合理想价值，及如何制定相关的价值体系。基于程序的规范治理强调透明度、包容性、问责制、公平性、善意性等原则嵌入，要求按此评估人工智能的安全影响，对利益攸关方施加规范约束。基于结果的规范治理聚焦风险最小化目标，探索适应性更强的制度安排，重视治理流程在现有或假设治理安排中的发生方式。

法律治理侧重构建权责明晰的监管框架，通过司法解释和案例指导补充法律适用体系，为安全治理提供法治保障，一般围绕规范对象、基本路径、新兴权利、监管机构以及法律责任作出法律规定。其立法实践呈现两种模式：基于要素场景的分散治理模式和基于风险预防的事前治理模式。前者根据人工智能系统构成要素和具体运用场景，出台针对性规范性文件，而后者追求在实际损害发生之前采取有效预防措施，体现于提供备案、影响评估和审计制度等机制设计中。

标准治理立足于四个技术方向以增强系统确定性：其一，承受异常事件和尾部风险（Tail Risk）的技术，确保人工智能可在开放世界的高风险环境中运行，保证人工智能稳健性；其二，围绕异常检测、代表性模型输出（Representative Model Outputs）、未知能力监测寻求人类对系统的运行控制；其三，构建价值对齐模块，学习和优化特定价值并选择特定代理约束算法目标与行动；其四，发展应对网络攻击能力、提升理性决策能力，以划定系统行为边界。

三、人工智能安全治理的各国实践

人工智能治理机制复合体是构建全球人工智能规则体系的重要组成部分，与此同时，各国政府也在纷纷开展加强对大模型安全治理的实践。主要大国是积极开展人工智能系统性安全治理的实践主体，根据技术发展阶段与文化、地缘、伦理差异化治理路径，制定针对性政策和监管措施。美国秉承基于审慎原则的柔性治理，依托行业自律，通过构建信任措施以实施“软监管”；欧盟奉行保障人权等基础价值观的强监管模式，通过分级风险管理来分层规制安全风险；英国采取折中策略，在既有法律框架下同步推动行业自律与标准化建设，通过跨部门协作平衡创新激励与风险管控。具体而言，包括以下几个方面的内容。

（一）提升透明度是监管基础

欧盟制定了《人工智能法案》，旨在对包括生成式人工智能在内的人工智能技术进行强制监管，要求遵循严格的透明度指标，如进行人工智能标识、防恶意内容生成以及训练数据合法性的问题等。英国政府在2023年3月发布的《创新型人工智能监管》白皮书中，将“适当的透明度和可解释性”作为其人工智能监管措施的基本原则。

（二）分级分类是监管重点

各国对生成式人工智能监管呈现分行业、分场景、分应用、分平台、分技术、分等级的区别化监管动向。欧盟“人工智能法案”将生成式人工智能应用分为3个级别，分别是第一级基础模型、第二级“非常强大”的基础模型和第三级大规模通用目的人工智能系统，在此基础上分别建立规则，并对第三级人工智能应用实施更严格的监控和披露要求。

（三）加强执法，压实责任

欧盟委员会目前正在制订的“人工智能责任指引”旨在为防范人工智能系统造成的损害制定统一规则，为受害者提供更广泛的保护，并通过提高对人工智能系统的保障来促进人工智能行业发展。该指引意在解决与人工智能相关的具体举证困难问题，要求欧盟成员国授权该国法院下令披露有关特定高风险人工智能系统的相关证据。这将影响人工智能系统的用户和开发者，明确开发者在人工智能系统出现故障时的责任，并便于对人工智能系统相关犯罪的受害者提供赔偿。

（四）强调政企合作，提升监管效力

美国一直推行政企合作的人工智能监管模式，包括与七家著名的生成式人工智能公司达成自愿协议，提供最基础的安全、保障和公众信任方面的护栏。在美国政府签署的首项人工智能监管行政令中，要求美国最强人工智能系统的研发人员需与政府分享其安全测试结果及其他关键信息。此外，美国还推行应用设计的安全默认原则、系统测试方案的评估与审核等，为人工智能应用的发展提供更灵活的配套监管举措。

（五）标准先行，为创新“留有余地”

为防止法律对于生成式人工智能技术发展的限制，美国采取标准等软法进行规约的方式，在美国政府签署的人工智能行政令中，明确要求建立检测人工智能生成内容和验证官方内容的标准和最佳实践，以帮助民众防范人工智能驱动的欺诈，并要求美国国家标准与技术研究所制定严格的人工智能“红队”标准。英国政府还投资200万英镑资助了一个新的沙盒，让人工智能创新者能够在新的人工智能产品上市前对其进行测试，沙盒将使企业能够测试人工智能法规如何适用于其产品。