NVIDIA叒搞事!RTX GPU计算加持Omniverse和Studio，虚拟与现实世界无缝交互

2021年的GTC大会刚落下帷幕不久，黄仁勋的主题演讲也博得了满堂喝彩。2021年11月16日，NVIDIA又专门组织了一次大型的媒体沟通会，在这次会议上NVIDIA再次特别聚焦了Omniverse和Studio相关的新产品、技术、趋势并进行了详细的讲解。如果你在GTC 2021上对黄仁勋的演讲还有些似是而非的话，那么希望今天给你带来的干货可以彻底满足你吞噬新科技知识趋势的那颗饕餮之心。

在本次沟通会上，NVIDIA将核心放在了Omniverse和Studio应用上，这也是老黄在GTC 2021上的演讲核心主题。《微型计算机》也受邀参加了本次技术沟通会，下面我们就来仔细梳理一下NVIDIA Omniverse和Studio即将到来的新特色、新技术、新趋势。

元宇宙的概念从初提到为人们所熟知并引发了广泛深入的探讨。整个世界通过互联网的基石正在演变为一个虚拟的3D世界，而在这背后的基础，就是5G网络以及人工智能的飞速发展。

如何能更好地创造一个全新、拟真的“真实元宇宙”？NVIDIA给出的答案是Omniverse。在不久前的2021年的秋季GTC主题演讲中，NVIDIA联合创始人及CEO黄仁勋先生演示了很多用NVIDIA Omniverse创建模拟仓库、模拟工厂，或者把物理和生物系统、5G的边缘部署、机器人、自动驾驶车辆，甚至数字孪生全部连结在一起的虚拟世界。

作为一个能让创意工作人员、科学家、物理学家以及电脑专家连接在虚拟世界里的综合..。Omniverse是NVIDIA在整个工作体系中的巅峰之作，因为它能把领先的图形计算、物理模拟和人工智能全部融合在一起。NVIDIA将AI人工智能计算引入到Omniverse中并将其变为组件，用于创建和连接虚拟以及真实两个不同世界的模拟引擎。

目前NVIDIA Omniverse已经处于全球公测阶段，目前的版本拥有14个基于Omniverse Connect和扩展的程序，超过15款ISV专业应用程序和应用软件能支持USD，Omniverse与全球超过500位设计师进行合作并且Omniverse累计下载超过7万次——这一切都说明了 Omniverse未来发展潜力巨大。

这次的媒体沟通会再次强调了2021秋季GTC上发布的Omniverse几大全新特性：Showroom、Farm、AR以及VR。

Omniverse Showroom：在基于GeFroce RTX显卡的..上，在Showroom里面可以看到Omniverse具体的作用。它能够让用户了解Omniverse的作用、给开发者提供灵感，是NVIDIA的先导性、鼓舞性和启发性的演示场景。在NVIDIA看来，能够引导并启发Omniverse的开发者对Omniverse应用领域进行思考，对市场有较强的教育意义。

Omniverse Farm：通过Farm组件，系统层(system layer)可以针对多GPU进行多节点渲染和模拟。2021秋季GTC上超过6万帧的画面就是由Omniverse Farm来渲染和管理的，而这些资源总共跨越了大概800台设备去做整体的调度和管理，这就是它的一个多节点的渲染和模拟的功能。

Omniverse AR：通过用图形串流的方式，把AR串流到设备上，至今已经通过它来串流超过10个亿个iOS用户以AR的方式应用Omniverse..去工作。

Omniverse VR：VR的功能目前还在开发中，会在不久的将来和用户见面。这是一种更加先进的技术，支持全帧率的实时光线追踪。

针对大型企业用户的Omniverse Enterprise也借由2021秋季GTC 大会全面上市，对于大型企业用户来说，它们可以借由Omniverse Enterprise进行分散式的，在不同时间、不同地点都可以去跨时区跨地域实时在线分工协作。Omniverse Enterprise是一个端到端的协作、仿真模拟的..，从软件到硬件都已经获得了NVIDIA的优化。NVIDIA从今年9月份起就已经陆续完成对合作伙伴的认证，只要购买拥有认证贴纸的产品或者参与这个项目的合作伙伴系统，就可以确保安全无忧地运行Omniverse Enterprise..。目前已经有非常多的公司，顶级业界合作伙伴已经在使用Omniverse Enterprise..，来完成在分布式3D协同设计、工业级数字孪生等各行各业的应用。

上面这张图是NVIDIA在会上展示的基于Omniverse Enterprise的两个应用案例。左图展示的是爱立信公司使用NVIDIA数字孪生(Industrial Twins)城市实景来辅助建造和部署5G网络优化的例子。Omniverse可以生成很多的物理参数，来匹配到数字孪生的城市里面，能实时地模拟和像素化波束和5G信号，爱立信可以利用RTX GPU光线追踪功能来做路径渲染，来调整不同颜色的光线，来确定信号的强弱、数据吞吐量等等。所以借助这种思路，爱立信可以先在数字孪生城市里模拟所有的部署效果，之后才到真实世界里执行，可以大大提高部署的效率，降低成本，提升经济性。

 上图右边的例子是讲洛克希德·马丁公司用数字孪生来研究美国西部山火的解决方案。NVIDIA跟美国的洛克希德·马丁公司在GTC上联合发布解决山火的问题——建立一个以人工智能为基础的实验室，把这个实验室和基础建设照搬到Omniverse Enterprise这个..上来，结合洛克希德·马丁公司的很多实时传感软件，在数字孪生的模拟..，去预测整个加州山火蔓延的路径和规模，告诉消防人员什么时候可以采取什么策略。

NVIDIA Modulus可以通过使用物理加速的机器学习和一些训练数据，去进行深度神经网络模型训练，同时把自然界的一些物理规律分装到数字孪生中去，让其中虚拟出来的替代模型，能够拥有跟自然界的真实物理定律相媲美的真实性。

NVIDIA Omniverse Replicator是一款性能强大的合成数据生成引擎，它能够生成用于训练深度神经网络的物理模拟合成数据。同时，NVIDIA也发布了两个基于Replicator的合成数据应用，分别是应用在汽车自动驾驶虚拟世界领域的Drive Slim和应用于操纵机器人虚拟世界的Isaac Slim。这两个应用使开发者能够以人类无法做到的方式引导AI模型、填补现实世界的数据空白，并标记真值数据。

Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该..上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色，可以看到、说话、谈论各种主题，以及合理地理解表达意图。

在基于Omniverse Avatar的Project Tokkio中，GTC 2021大会上黄仁勋展示了NVIDIA的同事们与一个黄仁勋的卡通虚拟形象进行互动——就生物学和气候科学等话题开展对话。同时，利用Project Tokkio，NVIDIA还展示了餐厅自助服务亭中的一个客户服务虚拟形象。演示中，有两名顾客正在订购素食汉堡、薯条和饮料，该虚拟形象看到了他们、与他们交谈并理解了他们。

Avatar的另一个应用 Project Maxine是基于NVIDIA Maxine的SDK去做视频会议、远程协作、远程呈现数字人偶、数字化身的对话。

本次媒体沟通会的第二大主题是关于NVIDIA Studio。NVIDIA所讲的核心重点就是 Studio作为横跨企业级和消费级的应用，最后会落地在Omniverse..上。所有的NVIDIA Studio的用户都可以通过NVIDIA Studio认证的设备，使用NVIDIA Omniverse..。

Studio..对NVIDIA来说非常重要，除了数以亿计PC爱好者以外，还有4500万专业人士和自由职业者，他们其实是以创作内容为生的。超过3千万的实时流媒体UP主可能会利用到NVIDIA Studio..、Omniverse技术，来加速后期创意工作流程，以制作更好的特效，实现更逼真、更栩栩如生、更有亲和力的画面效果、数字内容，还有8500万的学生，其中学习媒体、工程、数学、技术、理工等科目的学生需要配备非常强大的GPU的PC。

我们在以前的文章也多次讲过，NVIDIA Studio组件的核心就是NVIDIA RTX GPU(Quadro、GeForce等)。RTX GPU里不只有渲染的核心、光线追踪的核心，还有基于人工智能运算的加速引擎，可以确保RTX GPU有最高的性能。

NVIDIA Studio Driver经过了顶级创作者常用的应用程序和许多NVIDIA Studio应用程序工作流的严格测试，以匹配常见的创意工作者的设置，确保使用可靠性。

基于Omniverse的Studio的SDK非常重要。Omniverse中的许多组件，比如Replicator、Maxine、Avatar，通过Studio SDK可以随时调用。无论是物理模拟、仿真、加速、光线追踪等，还是基于Maxine的人工智能视频会议加速、调用Riva做嘴形的匹配，都可以融合到NVIDIA Studio SDK中，进而加速应用程序，并且优化应用程序在Omniverse、NVIDIA GPU上的性能。

基于AI的NVIDIA Canvas可以让你的创意创作更加轻松。创作者利用Canvas可以在绘画板上绘画，AI可以根据绘画内容涂层自由生成一些实时画面场景，这些实时的画面场景最后可以变成一个Photoshop+人工智能的组合，最后生成文件。NVIDIA官网已经提供Canvas的下载，大家可以下载玩一玩。当然，需要电脑支持RTX GPU。

Broadcast大家都非常熟悉了，这次会上还展示了NVIDIA Broadcast的更新，利用了NVIDIA Studio SDK做了很多新功能，而这些功不断地增强的增强、迭代。比如把Riva加进SDK，拥有了对于自然语言处理能力，它能识别人声里的尖叫声不是噪声不需要过滤，利用AI的方式把背景里的杂音，比如小孩跑闹、来自其他环境的尖叫的声音给滤掉，这是非常智能的。其背后是整个Omniverse..，整个STUDIO SDK全网站堆栈的综合性的应用表达。

会上展示的基于NVIDIA Studio的Photoshop加速功能。比如超级分辨率功能，利用RTX GPU里的Tensor Core加速做超级分辨率，可以先让你看到超分图像，再让你看到基于超分运算过之后的精准图像，几乎是无延时而且平滑的。右侧图像则是展示的是更真实更自然的Photoshop滤镜，它允许创作者用简单的拖动条编辑人物发型、表情、年龄等，并实时渲染。

在Davinci Resolve视频编辑中，借助RTX GPU和Studio技术，在AI辅助下，只需要划一条线就可以把人物和背景给隔离开，进一步换面部的光、换衣服颜色等等，这都是基于NVIDIA Studio SDK开发出来的各式各样的功能。

我们之前也多次测试过的NVIDIA DLSS辅助渲染的例子，比如在D5渲染器中，可以调用NVIDIA RTX GPU的Tensor Core来进行DLSS优化加速，帧率提升超过2倍，而且还可以做实时的光线追踪渲染等。

从本次的沟通会的细节可以看出，NVIDIA在基于AI的智能创作之路已经走得非常深远。无论是更为未来和科幻的Omniverse还是更务实一些的Studio，NVIDIA毫无疑问都在为企业、商业以及个人消费级的应用进行着细致的布局，强大的RTX GPU和NVIDIA多年来深厚的技术沉淀正是这一行为的基础所在。其实我们也完全可以看到，在“元宇宙”等近未来的概念不断被提及之时，围绕着企业、社会以及个人的生活、社交、学习、工作等状态及方式也正在发生着天翻地覆的变化，各大厂商都围绕着未来进行着技术、产品上的博弈，谁能占得先机，谁就能在未来占据制高点。

显然NVIDIA深懂此理，以AI人工智能为基础打造未来的愿景技术，并切实将其落地应用，无论是对于企业还是个人消费者来说，我们都应对此鼓掌称赞，并乐见其成。用得上的，才是最棒的，我们也希望在将来这类技术不断涌现，为社会和用户带来切实改善生活、学习及工作方式的大变革，推动整个行业砥砺前行。