中国青年报客户端讯(中青报·中青网记者 胡宁)杭州亚运会的赛事转播中,有一位特殊的“AI解说员”。它能迅速识别赛场上发生的情况,并实时提供多项目、多语种的解说,补足了大型赛事中因解说资源紧张而产生的解说“空白”。
这些AI智能解说是由北京大学的20位本硕博学生组成的团队研发的。这些年轻人在北京大学教授黄铁军及研究员仉尚航的指导下,基于多模态大模型的研究,结合视觉、语言、语音等多种模态的输入,推出了高速运动AI多语种解说系统,为观众提供更丰富的观赛体验。这也是多模态大模型技术首次在国际大型综合性体育赛事中的落地和尝试。
此次亚运赛事期间,这套高速运动AI解说系统与电视体育频道合作,在乒乓球、跆拳道、跳水、体操等赛事的比赛录播中,通过调用多模态大模型能力,理解视频内容,生成了中文、英语、藏语、阿拉伯等多种语言的解说,服务有不同语言需要的人群。
学生团队的负责人庄棨宁介绍,这一技术主要是通过高速摄像机的脉冲信号检测场景物体和运动员,捕捉体育比赛中的关键时刻,并生成高质量的集锦和相关数据,进而提供实时的个性化解说服务。
此外,该团队为本次亚运会打造的具身智能机器人软件服务系统,是基于团队自研的感知生成一体化多模态大模型。这套系统能感知与理解场馆内外的视觉场景,生成语言描述,控制机器人执行智能志愿者服务任务。
亚运会期间,在杭州钱塘江景区、西湖景区等部分志愿者服务点,一个机器人外观的智能体成功“上岗”并为视力障碍人士提供了服务。这个人工智能“助理”还能提供导览引领、场景解说、物品抓取等服务,为残障人士等创造更为人性化的互动体验。
责任编辑:刘世昕
来源:中国青年报客户端
页面更新:2024-03-08
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号