在过去的一年里，随着人工智能的快速发展和应用，攻击的速度、规模和复杂程度也在不断提高。防御者们才刚刚开始认识到并应用生成式人工智能的威力，以改变网络安全的天平，使其有利于自己并领先于对手。与此同时，我们也必须了解人工智能如何在威胁行为者手中被滥用。今天，我们与 OpenAI 合作，发布了关于人工智能时代新兴威胁的研究报告，重点关注与已知威胁行为者相关的已识别活动，包括提示注入、试图滥用大型语言模型（LLM）和欺诈。我们对威胁行为者当前使用 LLM 技术的分析表明，攻击者的行为与将人工智能作为进攻领域的另一种生产力工具是一致的。您可以在这里阅读 OpenAI 有关这项研究的博客。微软和 OpenAI 尚未观察到威胁行为者使用人工智能所产生的特别新颖或独特的人工智能攻击或滥用技术。不过，微软和我们的合作伙伴将继续密切研究这一领域。

微软与 OpenAI 合作的目的，包括发布本研究报告，是为了确保安全和负责任地使用 ChatGPT 等人工智能技术，坚持道德应用的最高标准，以保护社区免受潜在滥用。作为这一承诺的一部分，我们已采取措施破坏与威胁行为者相关的资产和账户，加强对 OpenAI LLM 技术和用户的保护，使其免受攻击或滥用，并围绕我们的模型建立防护栏和安全机制。此外，我们还坚定地致力于使用生成式人工智能来破坏威胁行为者，并利用包括 Microsoft Copilot for Security 在内的新工具的力量来提升各地的防御者。

检测和阻止威胁行为者的原则性方法

技术的进步要求采取强有力的网络安全措施。例如，白宫关于人工智能的行政命令要求对国家和经济安全或公众健康和安全有重大影响的人工智能系统进行严格的安全测试和政府监管。我们加强人工智能模型保障措施的行动，以及与生态系统在安全创建、实施和使用这些模型方面的合作，与行政命令对全面人工智能安全和保障标准的要求是一致的。

为了与微软在人工智能和网络安全领域的领导地位保持一致，我们今天宣布了微软的政策和行动原则，以降低民族国家高级持续威胁（APT）、高级持续操纵者（APM）和我们追踪的网络犯罪集团使用我们的人工智能工具和 API 的相关风险。

这些原则包括

1. 1. 识别并打击恶意威胁行为者的使用： 一旦发现已识别的恶意威胁行为者（包括民族国家 APT 或 APM，或我们跟踪的网络犯罪集团）使用任何 Microsoft AI 应用程序编程接口 (API)、服务或系统，Microsoft 将采取适当措施来阻止其活动，例如禁用所使用的帐户、终止服务或限制对资源的访问。
2. 2. 通知其他人工智能服务提供商： 当我们发现威胁行为者使用其他服务提供商的 AI、AI API、服务和/或系统时，Microsoft 将立即通知该服务提供商并共享相关数据。这将使服务提供商能够独立验证我们的发现，并根据自己的政策采取行动。 与其他利益相关方合作： Microsoft 将与其他利益相关方合作，定期交换有关已发现的威胁行为者使用 AI 的信息。这种合作旨在促进对全生态系统风险采取集体、一致和有效的应对措施。
3. 3. 透明度： 作为我们推动负责任地使用人工智能的持续努力的一部分，微软将向公众和利益相关者通报根据这些威胁行为者原则所采取的行动，包括在我们的系统中检测到的威胁行为者使用人工智能的性质和程度，以及酌情对其采取的措施。
4. 4. 微软将继续致力于负责任的人工智能创新，在尊重人权和道德标准的前提下，优先考虑技术的安全性和完整性。今天宣布的这些原则建立在微软负责任的人工智能实践、我们推进负责任的人工智能创新的自愿承诺以及《Azure OpenAI 行为准则》的基础之上。我们遵循这些原则是我们更广泛承诺的一部分，以加强国际法和国际规范，推进 29 个国家认可的《布莱切利宣言》的目标。

微软和 OpenAI 的互补防御保护人工智能平台

由于微软和 OpenAI 的合作关系延伸到了安全领域，因此当已知和新出现的威胁行为体出现时，两家公司可以采取行动。微软威胁情报（Microsoft Threat Intelligence）追踪了 300 多个独特的威胁行为体，其中包括 160 个民族国家行为体、50 个勒索软件组织和许多其他行为体。这些对手使用各种数字身份和攻击基础设施。微软的专家和自动化系统不断分析和关联这些属性，揭露攻击者利用新技术逃避检测或扩大能力的行为。为了防止威胁行为者在我们的技术中采取行动，并与合作伙伴密切合作，微软继续研究威胁行为者使用人工智能和 LLM 的情况，与 OpenAI 合作监控攻击活动，并将我们所学到的知识用于不断改进防御。本博客概述了微软威胁情报部门从已知威胁行为者基础设施中收集到的观察到的活动，然后与 OpenAI 共享，以识别其平台的潜在恶意使用或滥用，保护我们的共同客户免受未来威胁或伤害。

我们认识到人工智能的快速发展以及 LLM 在网络行动中的新兴应用，因此继续与 MITRE 合作，将这些以 LLM 为主题的战术、技术和程序 (TTP) 整合到 MITRE ATT&CK 框架或 MITRE ATLAS （人工智能系统的对抗性威胁环境）知识库中。这一战略扩展反映出我们不仅致力于跟踪和消除威胁，而且还致力于在人工智能驱动的网络行动不断发展的形势下率先开发应对措施。附录中概述了以 LLM 为主题的 TTP 的完整列表，其中包括我们在调查过程中发现的 TTP。

微软和 OpenAI 的调查结果和威胁情报摘要

过去几年的威胁生态系统揭示了一个一致的主题，即威胁行动者与防御者同步追随技术趋势。威胁行动者与防御者一样，都在关注包括 LLM 在内的人工智能，以提高他们的工作效率，并利用可访问的平台来推进他们的目标和攻击技术。网络犯罪集团、民族国家威胁行动者和其他对手正在探索和测试新出现的各种人工智能技术，试图了解这些技术对其行动的潜在价值以及他们可能需要规避的安全控制。对于防御方来说，加固这些安全控制以防攻击，并实施同样精密的监控以预测和阻止恶意活动至关重要。

虽然不同威胁行为者的动机和复杂程度各不相同，但他们在锁定目标和攻击过程中都有共同的任务。这些任务包括侦察，如了解潜在受害者的行业、地点和关系；帮助编码，包括改进软件脚本和恶意软件开发等；以及帮助学习和使用本地语言。语言支持是 LLM 的一个自然特征，对于持续关注社交工程和其他依赖于针对目标的工作、职业网络和其他关系而定制的虚假、欺骗性通信技术的威胁行为者来说具有吸引力。

重要的是，我们对 OpenAI 的研究并未发现利用我们密切监控的 LLM 进行重大攻击的情况。与此同时，我们认为这是一项重要的研究成果，可以通过发布来揭露我们观察到的知名威胁行为者正在尝试的早期、渐进的行动，并与防御者社区分享我们如何阻止和反击这些行动的信息。

虽然攻击者仍然会对人工智能和探测技术当前的能力和安全控制感兴趣，但重要的是要结合实际情况来应对这些风险。与往常一样，多因素身份验证（MFA）和零信任防御等卫生做法至关重要，因为攻击者可能会使用基于人工智能的工具来改进他们现有的网络攻击，这些攻击依赖于社交工程和寻找不安全的设备和账户。

下面介绍的威胁行为者是我们观察到的活动样本，我们认为这些活动最能代表业界需要使用 MITRE ATT&CK 框架或 MITRE ATLAS 知识库更新更好地跟踪的 TTP。

森林暴风雪

Forest Blizzard (STRONTIUM) 是一个与 GRU Unit 26165 有关联的俄罗斯军事情报机构，其目标是俄罗斯政府在战术和战略上感兴趣的受害者。他们的活动涉及国防、运输/物流、政府、能源、非政府组织（NGO）和信息技术等多个领域。据微软评估，森林暴雪的行动对俄罗斯在乌克兰和更广泛的国际社会的外交政策和军事目标起到了重要的支持作用。森林暴雪与其他研究人员追踪到的 APT28 和 Fancy Bear 威胁行为体有重叠。

森林暴雪对 LLMs 的使用涉及对可能与乌克兰常规军事行动有关的各种卫星和雷达技术的研究，以及旨在支持其网络行动的一般研究。基于这些观察结果，我们使用以下描述对这些 TTP 进行了映射和分类：

LLM 知情侦察： 与 LLM 交互以了解卫星通信协议、雷达成像技术和特定技术参数。这些询问表明试图深入了解卫星能力。 LLM 增强脚本技术： 寻求基本脚本任务方面的协助，包括文件操作、数据选择、正则表达式和多处理，以实现潜在的自动化或优化技术操作。 与 "鲑鱼台风 "的 LLM 互动类似，微软观察到 "森林暴风雪 "的互动也代表了对手在探索新技术的使用案例。与其他对手一样，与 Forest Blizzard 相关的所有账户和资产都已被禁用。

Emerald Sleet

Emerald Sleet (THALLIUM) 是一个朝鲜威胁行为体，在整个 2023 年都非常活跃。他们最近的行动依赖于鱼叉式网络钓鱼电子邮件，从具有朝鲜专业知识的知名人士那里获取和收集情报。微软观察到，Emerald Sleet 冒充知名学术机构和非政府组织，诱使受害者回复与朝鲜相关的外交政策的专家见解和评论。Emerald Sleet 与其他研究人员追踪到的威胁行为者如 Kimsuky 和 Velvet Chollima 重叠。

Emerald Sleet 对 LLM 的使用是为了支持这一活动，涉及对智库和朝鲜问题专家的研究，以及生成可能用于鱼叉式网络钓鱼活动的内容。Emerald Sleet 还与 LLM 进行互动，以了解公开的已知漏洞，排除技术问题，并在使用各种网络技术方面寻求帮助。根据这些观察结果，我们使用以下描述对这些 TTP 进行了映射和分类：

LLM 辅助漏洞研究： 与 LLM 交互以更好地了解公开报告的漏洞，如 CVE-2022-30190 Microsoft Support Diagnostic Tool (MSDT) 漏洞（称为 "Follina"）。 LLM 增强脚本技术： 使用 LLM 执行基本脚本任务，例如以编程方式识别系统上的某些用户事件，以及寻求故障排除和了解各种网络技术方面的帮助。 LLM 支持的社会工程学： 利用 LLM 协助起草和生成内容，这些内容很可能用于针对具有区域专业知识的个人的鱼叉式网络钓鱼活动。 有当地联络机制提供信息的侦察： 与 LLM 进行互动，以确定关注国防问题或朝鲜核武器计划的智囊团、政府组织或朝鲜问题专家。 与 "翡翠雪花 "相关的所有账户和资产已被禁用。

深红沙暴

Crimson Sandstorm（CURIUM）是一个伊朗威胁行为体，据评估与伊斯兰革命卫队（IRGC）有关。至少自 2017 年以来，Crimson Sandstorm 一直活跃于多个领域，包括国防、海运、运输、医疗保健和技术。这些行动经常依靠灌水漏洞攻击和社交工程来传播定制的.NET 恶意软件。先前的研究还发现了利用基于电子邮件的命令与控制（C2）渠道定制的深红沙暴恶意软件。Crimson Sandstorm 与其他研究人员追踪到的威胁行为者 Tortoiseshell、Imperial Kitten 和 Yellow Liderc 重叠。

深红沙暴使用 LLMs 的情况反映了安全社区从该威胁行为者那里观察到的更广泛的行为。互动涉及围绕社会工程学的支持请求、协助排除故障错误、.NET 开发以及攻击者在被入侵机器上逃避检测的方式。基于这些观察结果，我们使用以下描述对这些 TTP 进行了映射和分类：

LLM 支持的社会工程： 与 LLM 交互生成各种网络钓鱼电子邮件，包括一份假装来自国际开发机构的电子邮件和另一份试图引诱著名女权主义者访问攻击者构建的女权主义网站的电子邮件。 LLM 增强脚本技术： 使用 LLM 生成代码片段，这些代码片段似乎旨在支持应用程序和网络开发、与远程服务器交互、网络搜刮、在用户登录时执行任务，以及通过电子邮件从系统发送信息。 LLM 增强异常检测规避： 试图利用 LLM 协助开发代码以逃避检测，学习如何通过注册表或 Windows 策略禁用杀毒软件，以及在应用程序关闭后删除目录中的文件。 所有与 "深红沙暴 "相关的账户和资产已被禁用。

木炭台风

Charcoal Typhoon (CHROMIUM) 是一个隶属于政府的威胁行为体，其行动范围十分广泛。他们以针对政府、高等教育、通信基础设施、石油天然气和信息技术等行业而闻名。他们的活动主要集中在台湾、泰国、蒙古、马来西亚、法国和尼泊尔的实体，据观察，他们的兴趣延伸到全球反对政策的机构和个人。Charcoal Typhoon 与其他研究人员追踪到的威胁行为者 Aquatic Panda、ControlX、RedHotel 和 BRONZE UNIVERSITY 重叠。

在最近的行动中，我们观察到 "木炭台风 "与 LLM 的互动方式，这表明他们对 LLM 如何增强其技术操作进行了有限的探索。这包括使用 LLM 支持工具开发、脚本编写、了解各种商品网络安全工具，以及生成可用于对目标实施社会工程的内容。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

LLM 知情侦察： 让 LLM 参与研究和了解特定技术、平台和漏洞，表明处于初步信息收集阶段。 LLM 增强脚本技术： 利用 LLM 生成和完善脚本，以简化复杂的网络任务和操作并使其自动化。 LLM 支持的社会工程学： 利用 LLM 协助翻译和交流，可能是为了建立联系或操纵目标。 LLM 精炼作战指挥技术： 利用 LLM 进行高级命令、更深入的系统访问和控制，代表入侵后的行为。 所有与 "木炭台风 "相关的账户和资产都已被禁用，这再次表明了我们对防止滥用人工智能技术的承诺。

三文鱼台风

Salmon Typhoon (SODIUM) 是一个隶属于的复杂威胁行为体，曾以美国国防承包商、政府机构和密码技术领域的实体为目标。该威胁行为者通过部署 Win32/Wkysol 等恶意软件来保持对被入侵系统的远程访问，从而展示了其能力。鲑鱼台风 "在十多年的运行过程中，时而处于休眠状态，时而卷土重来，最近又重新活跃起来。鲑鱼台风 "与其他研究人员追踪到的 APT4 和 Maverick Panda 威胁行为体有重叠。

值得注意的是，在整个 2023 年，"鲑鱼台风 "与本地联络机制的互动似乎是探索性的，这表明该威胁行为体正在评估本地联络机制在获取有关潜在敏感话题、高知名度个人、地区地缘政治、美国影响力和内部事务的信息方面的有效性。这种与 LLMs 的试探性接触可能既反映了其情报收集工具包的扩大，也反映了评估新兴技术能力的实验阶段。

基于这些观察，我们使用以下描述对这些技术性战术进行映射和分类：

基于 LLM 的侦察： 利用 LLM 查询各种主题，如全球情报机构、国内问题、知名人士、网络安全问题、战略利益主题和各种威胁行为体。这些互动与使用搜索引擎进行公共领域研究如出一辙。 LLM 增强脚本技术： 使用 LLM 来识别和解决编码错误。微软注意到，在开发具有潜在恶意意图的代码时，有人请求提供支持，而该模型遵守既定的道德准则，拒绝提供此类协助。 LLM 精炼的操作指令技术： 表现出对操作系统内特定文件类型和隐藏策略的兴趣，表明其在努力改进操作命令的执行。 LLM 辅助技术翻译和解释： 利用 LLM 翻译计算术语和技术文件。 Salmon Typhoon 与 LLM 的合作与微软观察到的模式一致，反映了新技术领域中的传统行为。作为回应，所有与 Salmon Typhoon 相关的账户和资产都已被禁用。

最后，人工智能技术将继续发展，并被各种威胁行为者研究。微软将继续跟踪滥用 LLM 的威胁行为者和恶意活动，并与 OpenAI 和其他合作伙伴合作，共享情报，改进对客户的保护，并为更广泛的安全社区提供帮助。

附录： 以 LLM 为主题的 TTP

根据上述分析以及其他潜在的人工智能滥用情况，我们将分享以下以 LLM 为主题的 TTP 列表，并将其映射和分类到 MITRE ATT&CK 框架或 MITRE ATLAS 知识库中，从而为社区提供一个通用的分类标准，以共同跟踪 LLM 的恶意使用情况并制定应对措施：

以 LLM 为依据的侦察： 利用 LLM 收集有关技术和潜在漏洞的可行情报。 LLM 增强脚本技术： 利用 LLM 生成或改进可用于网络攻击的脚本，或执行基本的脚本任务，如以编程方式识别系统上的某些用户事件，以及协助排除故障和了解各种网络技术。 LLM 辅助开发： 在工具和程序（包括恶意软件等）的开发生命周期中利用 LLM。 法律硕士支持的社会工程学： 利用 LLM 协助翻译和交流，很可能是为了建立联系或操纵目标。 LLM 辅助漏洞研究： 利用 LLM 来了解和识别软件和系统中的潜在漏洞，这些漏洞可能会成为被利用的目标。 LLM 优化有效载荷制作： 利用 LLM 协助创建和改进有效载荷，以便在网络攻击中部署。 LLM 增强异常检测规避： 利用 LLM 开发有助于恶意活动混入正常行为或流量的方法，以规避检测系统。 LLM 引导的安全功能绕过： 利用 LLM 找到规避安全功能的方法，如双因素身份验证、验证码或其他访问控制。 LLM 建议的资源开发： 在工具开发、工具修改和战略运营规划中使用 LLM。