英伟达：XR 产业的四大支柱-

NVIDIA GTC 前瞻

3月，是春天，也是一年之中最重要的季节。这个三月，太多值得关注大型活动接踵而至：苹果的春季发布会，SXSW大会，还有本文的主角，将在3月21日至24日举办的 NAVIDIA GTC。NVIDIA GTC 是面向开发人员的全球 AI 会议，汇集了开发人员，工程师，研究人员，发明家和 IT 专业人员。主题集中在人工智能，计算机图形学，数据科学，机器学习和自主机器上。每次会议都以Nvidia首席执行官兼创始人Jensen Huang的主题演讲开始，然后与来自世界各地的专家举行各种会议和演讲。

外国博主 Skarredghost 在网络上发布了他与 NVIDIA 官方合作的一篇文章，文章谈论了NVIDIA 对未来的愿景，NVIDIA 名为 Omniverse 的产品，以及 5G 云流媒体何时可以成为现实。让我们一起来看看吧~

NVIDIA 的四大 XR 支柱

最近，NIVIDIA将其 XR 工作重点放在四个不同的功能上，他们称之为“四大功能 XR 支柱”。

图源：英伟达

这是NIVIDIA首次提出的概念，但是这四个研究方向对XR的未来发展至关重要。

真实感和物理精度：作为一家以显卡起家的公司，提供高端的计算机模型一直是英伟达的使命。这些年来，英伟达一直致力于为游戏和3D应用提供提高图形质量的工具，光线追踪技术正是他们给市场带来的巨大创新。逼真的体验和物理精度对XR产业来说至关重要，这直接影响到XR设备带来的沉浸感。对于企业，如汽车设计行业，应用程序显示的内容必须尽可能地贴近现实。对于人工智能培训来说，逼真的渲染和物理引擎来创建合成培训数据是最重要的。

人工智能：人工智能和XR将越来越多地结合在一起。首先，人工智能可以大幅度提高VR的画面质量，DLSS（深度学习超采样技术，使用低分辨率图像(比如1080p)生成高分辨率图像(8K),再把8K图像缩回4K,得到超级采样抗锯齿(SSAA)图像,以代替传统的时间抗锯齿等技术。）就是一个明显的例子。其次，人工智能也将提高XR的可用性的基础。在我们的沉浸式现实中，我们需要智能界面和我们需要数字助理，让我们以自然的方式提供最小的输入，做我们想做的事情；我们需要人工智能让我们在XR中书写办公、为我们提供建议。人工智能将取代菜单，为我们提供更好的用户体验。

协作：远程会议是VR的超级应用，英伟达是最早了解XR中企业工程和设计协作潜力的公司之一，它的Holodeck软件是展示XR协作环境能力的最好证明。现在，英伟达推出 NVIDIA Omniverse ，3D设计协作和世界模拟平台，并且贯彻协作的初衷，构建AR和VR场景并进行互动。

流式传输：数据流和视觉处理正变得无比重要，因为我们的目标是创造更小更轻便更高性能的独立眼镜。通过流媒体和低延迟高效的5G/6G，我们可以佩戴计算能力很小的眼镜，其他内容都通过云端传输。但要做到这一点，我们还需要优化流式传输算法。

这4个XR的支柱或多或少代表着英伟达在所有新技术的交叉点上的工作愿景，这些技术正在创造当前的技术革命浪潮。META、高通等等科技大厂的元宇宙愿景虽然有区别，但是AI、云、5G等等技术的融合正是XR的未来。

NVIDIA Omniverse

NVIDIA Omniverse 是一个易于扩展的开放平台，专为虚拟协作和实时物理精确模拟而构建。它是协作工具，是集成的3D空间，也是一个渲染器。它是一个创建3D虚拟世界的强大工具，创作者、设计师、研究人员和工程师可以连接主要的设计工具、资产和项目，在共享的虚拟空间中进行协作和迭代。开发人员和软件提供商可以在模块化平台上轻松构建、销售和扩展应用程序和微服务。

Nucleus支持的多种应用 | 图源：英伟达

Omniverse 的核心是“Nucleus”，是一个数据库和协作引擎。它通过称为“连接器”的特殊插件连接到用于处理 3D 场景的标准应用程序，例如 Unreal Engine、Adobe Substance、Autodesk 3ds Max、Blender 等等。一个完整的 3D 资源开发团队的每个人都将他/她的工作通过连接器提供给在最终场景中执行集成的人。各种艺术家的应用程序都通过连接器连接到 Omniverse，Nucleus 会将每个人的更改同步在 3D 场景中。总的来说，Nucleus 能整合在同一场景使用不同软件的多人工作成果。

多个应用协作效果展示 | 图源：英伟达

Nucleus 可以通过提取或者将所有内容转换为 USD 格式来实现这一点。所有使用常见3D格式的应用程序的所有输出都会自动转换为 USD，并整合到场景中。

利用Omniverse生成的建筑 | 图源：英伟达

Nucleus 不仅仅是协作引擎。在 Nucleus构建的场景，可以通过其他软件或服务对其操作。例如用光线追踪来渲染这个场景，或用这个场景来进行一些人工智能的训练，又或是将这个数字场景作为真实事物的数字孪生体，等等。英伟达提供了一些使用服务来构建使用 Omniverse Kit 的应用程序的例子，例如 Omniverse Create、View 和 Machinima，开发者也可以使用Kit 构建自己的应用程序。

这就是拥有三层功能的 Omniverse，连接不同应用是第一层，将不同应用的资产整合为一个3D场景是第二层，使用 Omniverse Kit 构建的服务和应用程序对场景处理生成输出或应用是第三层。

有趣的是，NVIDIA 开始构建 Omniverse 并不是作为产品，而是作为训练其 AI 的工具。没有工具可以让团队在针对 AI 培训优化的项目上进行协作，所以他们自己构建了它。然后他们意识到这对其他人也可能有用。

关于GTC，新的科技和知识总是让小编兴奋不已。在英伟达的官方公告中透露，他们将着重展示Omniverse 对XR领域的支持，这也许意味着我们能够在VR的场景中享受 RTX ON 带来的真实光线感受，让已经沉浸其中的场景变得更加逼真。虽然，这可能意味着我需要一块GeForceRTX3090显卡，作为一位忠实的游戏玩家，等待这波显卡价格回落入手一块3090也不是什么超出认知的问题。也许就会出现一款在故事上和画面上超越半衰期：ALYX的“跨”跨时代游戏，不过因为光线追踪在画面表现的高标准和优化难度，也许在5~8年这样的游戏才会出现。

还有一点很令人期望的是5G，现在的AR设备大都在性能和重量之间摇摆，有了5G带来的低延迟云端传输，我们的眼镜重量可以更多的分摊给光学方案，让我们的混合现实“如假包换”，真正成为替代手机的设备，让我们的颈椎不再受到摧残。

最后就是人工智能，这项科技的发展总是带给我危机感，它的学习能力正在逐渐增加，当他们的学习能力超越全体人类，人工智能和人类的差距就会缩短，在未来某天超越我们。会有产业因此受益，也会有一些人拼命学习才能保住饭碗。

接下来是 GTC 有关 XR 演讲时间表，不知道还有什么知识在等着我们呢？小编会第一时间和大家分享~