“AI眼睛”来了！网易新技术或让视障人士也能畅玩游戏

近日，由网易游戏用户体验中心设计的《AI Eyes: Enhancing Visual Accessibility Using AI

》（游戏自适应视障模式:AI助力视觉无障碍设计，以下简称“AI Eyes”）获得“设计界的奥斯卡”2024年iF设计奖。据南方+记者了解到，该方案运用网易互娱AI Lab等提供的AI图像识别与语音技术，跟踪游戏画面的变化，主动播报新生成的信息，使视障人士能够从图像、模型和场景等多个维度感知、理解和体验游戏。

据网易游戏方面透露，这是全球首个运用AI技术为视障玩家提供无障碍游戏的交互设计，让视障人士从“听游戏”到真正沉浸式玩游戏。接下来，该方案将在网易游戏多款产品中探索应用落地，让视障人群也能跟健全人一样享受社交娱乐的快乐。

资料显示，目前全世界的盲人及中重度视障人群超过3亿人，无障碍的交互设计逐渐成为国际对网络应用、电子游戏的基础要求。但相关数据报告显示，受视力的局限再加上很多游戏应用并没有进行无障碍优化，绝大多数的游戏视障者很难参与到游戏中。他们有的只能用“文本朗读”功能“听游戏”，通过声音在想象的世界里驰骋。即使市面上有专门针对盲人玩家定制的小型游戏，但玩法种类有局限性、体量小，视障人士无法跟健全人一样体验更高质量、最热门的游戏。

“我们不能假想他们不喜欢玩，而将他们拒之门外。”网易游戏用户体验中心相关团队在无障碍研究中发现，残障人士跟健全人士在娱乐上的需求是没有区别的，游戏是他们对外社交的桥梁，借助游戏，能帮助视障人士更好地融入社会。甚至，视障群体在一些游戏品类中还有更大的兴趣和优势。比如因为听觉灵敏，听声辩位是他们的乐趣，所以在射击、枪战类游戏非常擅长，甚至比健全玩家还厉害。

随着AI生成技术涌现，网易游戏用户体验中心团队通过使用AI图像识别、AI文本释义、AI语音播报等技术，为游戏提供通用、低成本、易操作的是视障人士交互方案。

据介绍，网易游戏用户体验中心团队设计研发的AI Eyes ，基于图像识别、AI文本语义生成和AI语音生成技术，一旦识别到视障玩家在界面上的点触、划动交互，AI将会执行画面解释，讲述画面上局部的内容。游戏中精彩的场景画面、角色、服饰、物品均可以实时呈现给视障玩家，提升了对游戏画面的感知范围，让视障玩家能够更全面的了解游戏画面内容。

不仅如此，AI Eyes能实时感应游戏内环境、事件、角色动作等情况，AI感应后对相关实时变化内容进行自主播报，视障玩家能够第一时间了解游戏内容变化信息，从而提高游玩的沉浸感，包括天气、弹窗UI、角色待机动作等……

研发团队主设计师罗丹举例说道:“假设你看不到这个屏幕上的任何东西，但我并不想告诉你，这里有一个种植按钮。而是告诉你——这里是一个油画风格的场景，是你的家园，这里有一个简单的庇护所，一方田地。你的宠物在围着你转圈。田地里是枯萎的植物，界面上有一个浇水按钮和种植按钮。又比如在《蛋仔派对》中，其他玩家可以举着视障玩家探索和感受乐园的温暖。”

另外还值得注意的是，AI Eyes符合视障用户交互习惯，在用户端操作与当前主流的“talkback”“旁白模式”等盲人交互模式无太大区别，因此视障群体能以通用、习惯的交互方式使用。

据介绍，该AI辅助无障碍游戏交互方案具有跨国际、跨游戏类型的普适性，既适用于如经营建造、RPG等以图像、场景氛围表现为主的游戏，又适用于2D游戏等以界面控件为主要形态的游戏，还能适用于以图像分享为主的流媒体网站。网易游戏方面透露，接下来该方案将在网易游戏多款产品中探索应用落地。

南方+记者 叶丹

【作者】 叶丹

【来源】 南方报业传媒集团南方+客户端