AI公司Hugging Face评估大语言模型碳足迹，推动AI研究方式的建立

大语言模型正在受到各大科技公司和科研机构的大力推进，利用其可以帮助我们做很多事情，但一个比较容易被忽视的点是，这些大模型的训练和运行需要巨大的能量，上千亿参数的模型往往需要数百万 GPU 小时来训练，从而会产生大量碳足迹。

另一个问题是，它们的碳足迹到底有多大仍然是一个谜，对其衡量评估也还没有一个标准方法。

（来源：《麻省理工科技评论》）

近日，人工智能初创公司 Hugging Face 对外表示，它提出了一种新的、更好的方法，来更精确地计算模型产生的碳排放量，并且是评估其整个生命周期，而不仅仅是训练期间。

这可能是科技公司在评估 AI 产品碳足迹上迈出的一大步。相关专家们也在呼吁该行业更好地评估 AI 对环境的影响，这有利于更好地使用这些模型和数据。

同时，该方面的探索还可能推动人们转向更有效的 AI 研究方式，比如微调现有模型，而不是一味建造更大的模型。

对于此次工作，Hugging Face 也发表了一篇题为《估算 1760 亿参数语言模型 BLOOM 的碳足迹》（Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model）的论文，并于近日提交在 arXiv 预印本平台。

该公司为测试其新方法，估计了今年早些时候推出的大语言模型 BLOOM 的总排放量。这个过程涉及许多不同方面的叠加，包括在超级计算机上训练模型的能量、制造超级计算机硬件和维护其计算基础设施的能量，以及运行 BLOOM 所需的能量等。

研究人员最后使用了名为 Code Carbon 的软件工具，来实时跟踪计算 BLOOM 在 18 天内产生的碳排放量。并估计得出，BLOOM 训练所产生的碳排放达 25 吨，而在考虑到用来训练的计算机设备和更广泛的计算基础设施，以及实际运行 BLOOM 所需的能量时，碳排放量增长了一倍。

图 | 运行 BLOOM 模型的平均功率波动（来源：arXiv）

对于一个模型来说，50 吨的碳排放量似乎已经很多，但值得注意的是，BLOOM 的排放量要明显低于其他相同规模的大语言模型。其是在一台由核能提供主要动力（不会产生碳排放）的超级计算机上训练的，而其他模型训练所使用的能源更多地依赖化石燃料，污染要相对更严重。

据了解，BLOOM 于 2022 年 3 月推出使用，Hugging Face 估计该模型每天会排放约 19 千克的二氧化碳。

相比之下，OpenAI 的 GPT-3 （2020 年推出，1750 亿参数）和 Meta 的 OPT 模型（2022 年推出，1750 亿参数），在训练期间分别排放了约 500 千克和 75 千克的二氧化碳。GPT-3 的排放量较大，一部分原因是它在较旧、效率较低的硬件上进行训练的。

另外，以上数字只是基于外部估计或公司自身发布的有限数据，而真实的数据很难确定，目前没有标准化的方法来衡量它们的碳排放。

Hugging Face 的目标是帮助 AI 社区更好地了解大模型对环境的影响，以进一步优化处理碳排放问题。

（来源：arXiv）

卡内基梅隆大学计算机科学学院助理教授艾玛·斯特鲁贝尔（Emma Strubell）对外说：“Hugging Face 的论文为开发 AI 模型的机构设定了新标准，其是迄今对大模型碳足迹最彻底的分析，比我所知道的任何其他论文或报告都要详细。”

值得一提的是，尽管她没有参与本次新研究，但其早在 2019 年就撰写了一篇关于 AI 对气候影响的开创性论文，题为《NLP 中深度学习的能量和政策考虑》（Energy and Policy Considerations for Deep Learning in NLP）。

可以说，Hugging Face 提供了目前行业急需的量化语言模型碳足迹的方法。其展示出的模型在生命周期的排放量之大也让很多人感到惊讶。不过，对于进一步评估大语言模型对环境的影响，仍有一些工作需要进行。

另外，值得注意的是，了解 AI 模型的具体使用也十分重要，像谷歌和 Meta 等诸多大型科技公司，会通过 AI 模型来对用户推荐内容或对评论进行分类，这本身使用的功率很小，但每天会进行超十亿次操作，这加起来就是非常大的能量消耗。

通过更好地了解 AI 的能源消耗量，可方便公司和开发人员在污染和成本之间做出更好的权衡，以在开发 AI 模型的同时尽最大程度较少相关碳足迹。

气候变化是人类目前面临的最大挑战之一，其影响着世界各地的生态系统和人们的日常生活，评估和减少各行业的碳排放是减轻气候影响的重要部分。

在论文最后，研究人员还讨论了精确估计机器学习模型的碳足迹的难度和未来有助于改善碳排放的研究方向。

参考资料：

https://www.technologyreview.com/2022/11/14/1063192/were-getting-a-better-idea-of-ais-true-carbon-footprint/
https://arxiv.org/abs/2211.02001