美国的 CES 展,长久以来都是人们观察全球科技风向的一个重要风向标。

在 2024 年的 CES 展上,两位人工智能领域的专家,李飞飞和吴恩达做了一场对谈,在这场谈话中,他们提及了一个足以影响自动驾驶行业的关键点。

自动驾驶大模型,千万别入戏太深-编程部落

那就是,AI 大模型开始从“大语言模型”向“大视觉模型”的转变,AI 大模型不但能理解语言,还能生成图像,还有对图像进行分析,让计算机更好地理解图像的含义,从而给自动驾驶带来质的飞跃。

对此,本文分为两部分:

为什么李飞飞和吴恩达会说“大视觉模型”将给自动驾驶带来质的飞跃?

为什么我们对自动驾驶的 AI 大模型别入戏太深?

大视觉模型会带来颠覆性革命吗?

当一个人驾驶车辆时,不是简单地把着方向盘,控制着油门和刹车,还要处理很多复杂的事情。

你要看交通信号,你要看各种路边的标志物,你要判断路上有什么东西。如果前面路上有一只小鸭子在慢慢走,你得踩刹车;但是如果是一只鸟,你可以想象车开过去它就会飞走,你就不用减速。如果路上有个塑料袋,你可以直接碾压过去;但如果那是个石头,你就必须绕着走。

你对路面状况有深刻的理解,这种理解和你的生活阅历、和你平时积累的经验有关。最起码你得知道塑料袋是什么,石头是什么,鸟是什么,但汽车并不知道。

要想让汽车知道这些东西,那这背后涉及的技术可太难了。现有的图形识别能力,哪怕把障碍物换个角度,计算机都看不出来。更何况人的路面知识无穷无尽,你根本就没办法把每个知识都告诉计算机,而它自己根本没有思考能力。

当下,自动驾驶搞的都是狭义 AI,走的是机器学习的路线。计算机把路上的所有物体,包括建筑物、其他的车、行人都当成是三维模型,它不再试图理解这些物体。

自动驾驶大模型,千万别入戏太深-编程部落

计算机只关心这些物体的移动趋势,估算每个物体的速度,预测它的路线,看看跟车的路线会不会发生冲突,如果有冲突就踩刹车或者绕着走。

然而,真实的路面上会有各种意外。Google 一直在训练自动驾驶技术,他们遇到过各种各样奇怪的情况。有一次有几个小孩在高速公路上在玩青蛙。还有一次,一个残疾人,坐着电动轮椅,在路中间追逐一只鸭子,鸭子绕圈跑,她也绕着圈追。那你说像这种情况你能一下子就准确预测这些人的行动路线吗?

自动驾驶汽车识别路边的物体,都是靠把激光打到各种东西上再反射回来。可如果在下雪或者下雨,激光可能打到雪花或者雨滴上反射,汽车就可能对周围物体有重大误判。

计算机能不能保证看懂路边标记限速、慢行的交通标志牌?图形识别技术非常难,曾经,Google 自动驾驶技术把 Obama 夫人米歇尔给识别成一只猩猩,贻笑大方,而且假如标志牌有损坏,或者上面被人贴了小广告,那汽车就很可能无法识别。

2016 年,一个特斯拉车主违反规定,把车完全交给自动驾驶,结果因为汽车没有识别出来前面的一辆白色卡车,它可能以为那是天上的白云或者别的什么东西,司机当场死亡。当然这是司机犯了错误,但这恰恰也说明自动驾驶技术非常容易遭遇意外。

但是,“大视觉模型”却可能改变这一切 。

2023 年 9 月,OpenAI 发布了测试版的 GPT—4V,能看懂图片,能解读电子竞技比赛。也就是说,GPT 对图像和视频中的各种事物有了很强的理解能力,在测试中,让 GPT—4V 看不同驾驶场景的图像和视频都获得了惊人的突破,表现出了超越现有自动驾驶系统的潜力。

自动驾驶大模型,千万别入戏太深-编程部落

而且,不只是识别数据,大模型还能生成自动驾驶数据。比如,一家来自英国的自动驾驶公司 Wayve 就做出了尝试,他们开发了一个名叫 GAIA-1 的生成式 AI 模型,人们输入视频和文本,AI 就会根据需求创建逼真的驾驶视频。

GAIA-1 可以学习和理解有关驾驶的很多概念,包括汽车、行人、道路布局、交通灯、建筑物等等,能够生成很多复杂路况,对走视觉路线的自动驾驶系统非常有帮助。

值得一提的是,来自 UC 伯克利和约翰斯・霍普金斯大学的研究人员,提出了一种全新的建模方法,可以在不使用任何语言数据的情况下,训练大视觉模型。

简单来说,就是大视觉模型只需看图训练,就能理解和处理复杂的视觉信息,不用依赖语言数据。可见,大视觉模型的进程才刚刚开始,它有巨大的潜能尚待挖掘,这对特斯拉的自动驾驶纯视觉方案是个巨大的利好。

为什么我劝你别太高估大模型了

今天,在自动驾驶领域,各种概念层出不穷,每当有新技诞生,都会有人惊呼,全新的时代要诞生了!

但实际上,大部分人没有人意识到,自动驾驶的边界就是人工智能的边界,而人工智能的边界是数学的边界,没错,数学是有边界的。

1931 年,数学家哥德尔认为,许多数学家试图构建一个既完备又一致的数学体系,这样的的努力方向,是错误的,数学体系不可能既完备又一致。也就是说,保证了完备性,结论就会矛盾;保证了一致性,就会有很多结论无法用逻辑推理的方法证明。这提醒人们,让人们知道,数学不是万能的,世界上很多问题不是数学问题。

比如,你正在以很快的速度开车,突然发现前边有一群小学生在马路上打闹。要避让这些小学生,你就会撞到路边的建筑物墙上,而如果撞墙,你的生命安全就面临危险。请问在这种情况下,你是选择撞墙还是选择撞向小学生呢?

自动驾驶大模型,千万别入戏太深-编程部落

如果汽车厂商告诉你,我们这个车就是讲道德的,我们的自动驾驶系统在这种情况下一定会首先确保行人的安全,请问这样的车你会买吗?你会让汽车做决定,牺牲你自己吗?

可见,这是一个伦理道德问题,没有标准答案,人工智能再强大,也无法计算这样的问题。

其次,许多情况,无论用什么模型,用多么强的算力,也都算不出来。

在数学上,还有一个经典命题,1900 年,数学家希尔伯特就提出过一个疑问:对于某一类数学问题,有没有一个方法,通过有限步,就能判断它有没有解?根据希尔伯给出的结论,很多数学问题,就算有算法,但有没有解是不知道的。

实际上,自动驾驶就属于这类问题,到底有没有解,我们不知道。

今天,所有专家都在说,只要数据够多,自动驾驶大模型早晚能成熟,实际上,对自动驾驶系统来说,大部分情况下,能用 2% 的数据就能训练一个能解决路面 80% 的情况的自动驾驶系统,但是剩下那 20% 的情况,你就是再用再多的数据也未必能解决。

比如马斯克的纯视觉 FSDV12,在想象中,纯视觉方案有现成的 AI 算法可以模仿,但实际量产过程中有无数的细节需要完善,想象中,只要在逻辑上做到完美的算法就行了,但实际上算法需要大规模的数据喂养。

要知道,马斯克对特斯拉 FSD 倾斜了无数资源,比如,在 FSD 的开发过程中,特斯拉积累了超过 90 亿英里使用里程,这是全球最大的自动驾驶数据来源;为了利用这些数据,特斯拉不断扩充其超算集群,到处挖顶级 AI 工程师,自研算法、芯片和大算力 GPU。

但即便如此,你也未必能喂得出来,要知道,马斯克曾公开表示,他低估了纯视觉方案的难度,他感到非常抱歉。

自动驾驶大模型,千万别入戏太深-编程部落

为什么会这样?比方说,美国 50 个州都有各自的交通法规,各地的气候条件和路况都不一样,这还不算美国和中国更不一样。这意味着什么呢?这意味着在一个地区训练出来的自动驾驶方案,换一个地方就完全没用了。所以任何自动驾驶大模型其局限性都很大,不能通用,你必须在每一个地区都采集大量的数据才行。

进一步说,即便算力增加也无法解决自动驾驶大模型的普适性问题,计算能力增加,原来可以计算的问题会算得更快,甚至瞬间解决,但是不可算的还是不可算。

我们打个比方,你如果有一台制冷机,可以将温度降低。如果你有一个超大功率的制冷机,温度降低得会快得多。但是,用再多、再大的制冷机也不可能将温度降到绝对零度以下,因为那是物理学的一条边界。

总结而言,由于数学的边界无法被突破,所以今天任何的自动驾驶方案,大家可千万别入戏太深。

本文来自微信公众号:汽车通讯社 (ID:automobile-news),作者:朱愈嘉