“紫东太初” 全模态大模型发布 搭建平台为产业赋能

央广网北京6月19日消息（记者卜叶）透过《月光曲》畅谈贝多芬的故事，在三维场景里实现精准定位，通过图像与声音的结合完成场景分析……

近日，在人工智能框架生态峰会2023上，中国科学院自动化研究所所长徐波正式发布“紫东太初”全模态大模型，并对外展示了新版本的新功能。

人类认知世界时，往往同时涉及语音、图像、文字等信息。机器需要实现更高水平的智能，就需要像人一样，发展贯通图、文、音等更多模态的大模型。自2019年起，中国科学院自动化研究所（以下简称“自动化所”）即坚持以“图-音-文”多模态技术为核心，确立多模态大模型布局，整合所内图像、文本、语音等研究方向的优势资源开展集团式攻关。

2021年9月，三模态大模型“紫东太初”发布，首次实现语音生成视频等功能，向发展通用人工智能迈出了坚实的第一步。

此次，基于1.0版本升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、传感信号、3D点云等模态数据，研究突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力，面向数字经济时代加速通用人工智能的实现。

“紫东太初”2.0可以理解三维场景、传感信号等数字物联时代的重要信息，完成了音乐、图片和视频等数据之间的跨模态对齐，能够处理音乐视频分析、三维导航等多模态关联应用需求，并可实现音乐、视频等多模态内容理解和生成。从1.0到2.0，“紫东太初”大模型打通了感知、认知乃至决策的交互屏障，使人工智能进一步感知世界、认知世界，从而延伸出更加强大的通用能力

“紫东太初”2.0以自动化所自研算法为核心，以昇腾AI硬件及昇思MindSporeAI框架为基础，依托武汉人工智能计算中心算力支持，着力打造全栈国产化通用人工智能底座。长期以来，强大的算力支撑是约束我国人工智能发展的瓶颈之一，以“紫东太初”大模型为领头雁开展的创新实践将有力推动国产基础软硬件与大模型技术的适配，协同构建我国通用人工智能自主可控发展生态。

会上，徐波首次对外实时展示了大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能。

目前，“紫东太初”大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始了一系列引领性、示范性应用。

在医疗场景，“紫东太初”大模型部署于神经外科机器人MicroNeuro，可实现在术中实时融合视觉、触觉等多模态信息，协助医生对手术场景进行实时推理判断。同时与北京协和医院合作，利用“紫东太初”具备的较强逻辑推理能力，尝试在人类罕见病诊疗这个挑战性医学领域有所突破。

徐波表示，自动化所以“紫东太初”大模型为基础，持续探索与类脑智能、博弈智能等技术路径的相互融合，最终实现可自主进化的通用人工智能。并将探索在更多领域发挥赋能价值，为促进我国数字经济快速发展贡献力量。

更多精彩资讯请在应用市场下载“央广网”客户端。欢迎提供新闻线索，24小时报料热线400-800-0088；消费者也可通过央广网“啄木鸟消费者投诉平台”线上投诉。版权声明：本文章版权归属央广网所有，未经授权不得转载。转载请联系：cnrbanquan@cnr.cn，不尊重原创的行为我们将追究责任。