英伟达开源“护栏”软件，为生成式AI的安全性保驾护航

智东西）

作者 | ZeR0

编辑 | 漠影

智东西4月26日消息，生成式AI的安全性越来越受到关注。对此，NVIDIA（英伟达）设计并开源了NeMo Guardrails，适用于广泛的基于LLM（大型语言模型）的应用而设计。

该软件包含了企业为提高可以生成文本的AI应用程序的安全性所需的所有代码、示例和文档，可以让开发者调整LLM驱动的应用，以确保模型的驱动的智能应用准确、恰当、符合主题且安全，以及模型在公司的专业领域内。

LLM正在被用于回答客户的问题、总结冗长的文件，甚至编写软件和加速药物研发，正在被越来越多的行业所采用。全新发布的开源软件NeMo Guardrails能够帮助开发者指导生成式AI应用生成令人印象深刻的文本响应，专为帮助用户保证这类新型AI赋能的应用的安全性而开发。

NeMo Guardrails使开发者能够构建三种边界：

（1）主题护栏防止应用偏离进非目标领域，例如防止客服助理回答关于天气的问题。

（2）功能安全护栏确保应用能够以准确、恰当的信息作出回复。它们能过滤掉不希望使用的语言，并强制要求模型只引用可靠的来源。

（3）信息安全护栏限制应用只与已确认安全的外部第三方应用建立连接。

几乎每个软件开发人员都可以使用NeMo Guardrails，他们不需要成为机器学习专家或数据科学家，只需几行代码就可以快速创建新的规则。

NeMo Guardrails是开源的，可以与企业应用开发人员使用的所有工具搭配使用。

例如，它可以在开源工具包LangChain上运行。越来越多的开发者用LangChain来将第三方应用嵌入到LLM中。LangChain工具包的创建者Harrison Chase说：“用户可以轻松地将NeMo Guardrails添加到LangChain工作流程中，以快速为其AI应用设置安全边界。”

NVIDIA正在将NeMo Guardrails整合到NVIDIA NeMo框架中。该框架包含用户使用公司的专有数据来训练和调整语言模型所需的一切，大部分内容已在GitHub上作为开放源码提供。作为NVIDIA AI Enterprise软件平台的一部分，它可以以完整的支持包的形式提供给企业。

NeMo还可作为一项服务使用。作为NVIDIA AI Foundations的一部分，这套云服务面向希望基于自己的数据集和领域知识创建、运行自定义生成式AI模型的企业。

通过使用NeMo，韩国领先的移动运营商构建了一个智能助手，该助手目前已经与客户进行了800万次对话；瑞典的一个研究团队使用NeMo创建了LLM，为该国医院、政府和商业机构自动生成文本。

为生成式AI构建有效的护栏是一项难题，随着AI的发展将需要大量持续的研究。

NVIDIA将其多年研究成果NeMo Guardrails开源，释放开发者社区的巨大能量，推动AI安全工作。这将有助于企业确保其智能服务满足功能安全、隐私和信息安全的要求。