自动驾驶独角兽如此造假，LeCun都服了

明敏 发自 凹非寺
量子位 | 公家号 QbitAI

你认为这是个平平无奇的主动驾驶视频？

‍‍‍

NO、NO、NO……这其实是完全由AI从头生成的。

没有一帧是“真的”。

‍‍‍‍‍分歧路况、各类天色，20多种情形都能模拟，结果以假乱真。

世界模型再次立大功了！这不LeCun看了都热忱转发。

如上结果，由GAIA-1的最新版本带来。

它规模达90亿参数，用4700小时驾驶视频练习，实现了输入视频、文本或把持生成主动驾驶视频的结果。

带来的最直接优点就是——能更好展望将来事件，20多种场景都能模拟，从而进一步提拔了主动驾驶的平安性、还降低了成本。

其主创团队直言，这可以改变主动驾驶的游戏划定！

所以GAIA-1是若何实现的？

规模越大结果越好

GAIA-1是一个多模态生成式世界模型。

它行使视频、文本和动作作为输入，生成真切的驾驶场景视频，同时能够对自立车辆的行为以及场景特征进行细粒度掌握。

并且能够仅经由文本提醒来生成视频。

其模型道理有点像大说话模型的道理，就是展望下一个token。

模型能够行使向量量化透露将视频帧离散，然后展望将来场景，就转换成了展望序列中的下一个token。然后再行使扩散模型从世界模型的说话空间里生成高质量视频。

具体步伐如下：

第一步简洁懂得，就是对各类输入进行从新编码和分列组合。

行使一个专门的编码器对各类输入进行编码，分歧输入投射到共用透露里。文本和视频编码器对输入星散、嵌入，把持（action）透露则被零丁投射到共用透露里。

这些编码的透露具有时间一致性。

在进行分列之后，要害部门世界模型登场。

作为一个自回来Transformer，它能展望序列中的下一组图像token。并且它不光考虑了之前的图像token，还要兼顾文本和把持的上下文信息。

这就使得模型生成内容，不光连结了图像一致性，并且和展望文本、动作也能连结一致。

团队介绍，GAIA-1中的世界模型规模为65亿参数，在64块A100上练习15天而成。

最后再行使视频解码器、视频扩散模型，将这些token转换回视频。

这一步关乎视频的语义质量、图像正确性和时间一致性。

GAIA-1的视频解码器规模达26亿参数规模，行使32台A100练习15天而来。

值得一提的是，GAIA-1不光和大说话模型道理相似，同时也呈现出了跟着模型规模扩大、生成质量提拔的特点。

团队将此前6月发布早期版本和最新结果进行了对比。

后者规模为前者的480倍。

能够直旁观到视频在细节、差别率等方面都有显着提拔。

而从实际应用方面出发，GAIA-1也带来了影响，其主创团队透露，这会改变主动驾驶的划定。

原因来自三方面：

• 平安

• 综合练习数据

• 长尾场景

首先平安方面，世界模型可以经由模拟将来，让AI有能力意识到本身的决意，这对主动驾驶的平安性来说很要害。

其次，练习数据对于主动驾驶来说也非常要害。生成的数据加倍平安、廉价，并且还能无限扩展。

最后，它还能解决今朝主动驾驶面临的最大挑战之一——长尾场景。生成式AI能够兼顾更多边缘场景，好比在大雾天色行驶碰到了横穿马路的路人。这能更进一步提拔主动驾驶的能力。

Wayve是谁？

GAIA-1来自英国主动驾驶初创公司Wayve。

Wayve成立于2017年，投资方有微软等，估值已经达到了独角兽。

创始工资现任CEO亚历克斯·肯德尔和艾玛尔·沙（公司官网向导层页已无其信息） ，两人都是来自剑桥大学的机械进修博士。

手艺路线上，和特斯拉一般，Wayve主张行使摄像头的纯视觉方案，很早就甩掉高精地图，果断的走“即时感知”路线。

前不久，该团队发布的另一个大模型LINGO-1也激发惊动。

这个主动驾驶模型可以内行车过程中，实时生成诠释，更进一步提高了模型可注释性。

本年3月，比尔·盖茨还曾试乘过过Wayve的主动驾驶汽车。

论文地址：
https://arxiv.org/abs/2309.17080

参考链接：
[1]https://twitter.com/ylecun/status/1709810114340024400
[2]https://wayve.ai/thinking/scaling-gaia-1/

— 完 —

「量子位2023人工智能年度评选」起头啦！

本年，量子位2023人工智能年度评选从企业、人物、产物/解决方案三大维度设立了5类奖项！迎接扫码报名  

最具影响力的年度智能贸易峰会MEET 2024智能将来大会已启动！点此认识详情。

点这里