一位有AI的虚拟司机：大模型训练自动驾驶，稳如“老司机”

“通用人工智能产业发展22条”发布不久，广东做出“加快培育人工智能等新兴产业，大力发展新质生产力”的新年部署。南都大数据研究院开展“粤来粤AI”大型研究，以多个篇章描摹发展现状，考量应用实效，研判治理风险，助力广东加快建设通用人工智能产业创新引领地，协同探索人工智能监管模式创新。本次推出“有AI应用篇”系列报道，走访广东人工智能相关企业，揭秘那些与我们工作生活息息相关的AI应用产品的研发故事。

第五期，走进广州自动驾驶先驱厂商——小马智行，看AI如何训练“情绪稳定的虚拟司机”，大模型如何为自动驾驶业务提质增效。

随着自动驾驶测试牌照陆续发放，无人车进入了商业化运营的“前夜”。从L0到L5，各类技术都在朝着“更自动化”的方向快跑，而大模型的到来，让这一脚程提速。

“AI+自动驾驶”产生了什么化学反应？大模型技术带来了哪些场景和效率变革？“智驾”的未来想象力在哪？在广东，有团队凭借深入研究“如何让车辆更像‘老司机’”，给出了解法。

有AI产品：虚拟司机

产品特性：

融入了AI技术的自动驾驶系统，让“虚拟司机”像一个情绪稳定的老司机，熟练应对不同城市的交通、路况、天气，实现安全、先进、可靠的自动驾驶。

应用场景：

城区、机场往返接驳，干线物流、专线物流等。

使用效果：

自动驾驶出租车已实现了无人驾驶，即车内无安全员、安全员在远端监控车辆，并在车辆遇到极少数无法决策的情况时，提供高级辅助决策指令。

让AI训练“老司机”

广东走在了无人驾驶商业化落地的前列。去年以来，广州南沙区、深圳宝安区先后启动智能网联汽车无人商业化试点，在这两地试点启动中，小马智行均作为首批企业获得试点许可。

作为国内较早布局自动驾驶领域的企业，小马智行致力于研发安全、先进、可靠的全栈式自动驾驶技术，并将自研的自动驾驶软硬件系统命名为“虚拟司机”。

小马智行自动驾驶出租车在广州南沙区道路上行驶。

“我们的目标是通过使用AI技术，把我们的‘虚拟司机’训练得更加像优秀的人类老司机”，小马智行联合创始人兼CTO楼天城以“情绪稳定的‘老司机’”来形容“虚拟司机”的技术目标。据了解，该企业推出的自动驾驶出租车，目前已经实现“车内无安全员”，即安全员在远端监控车辆，并在车辆遇到极少数无法决策的情况时，提供高级辅助决策指令。

在楼天城看来，借助AI技术打造的“虚拟司机”，主要呈现出两方面特长：一是优于人类司机的安全性——能够娴熟应对狭窄路段等复杂场景、雨雪、沙尘等极端天气。二是对各类“长尾场景”的“兼容”——无论是城市里的双向四车道，还是乡间小道都能“无障碍”通行。

目前，小马智行自动驾驶业务已覆盖了北上广深四大一线城市的部分区域，场景上支持城区、以及机场往返接驳、干线物流、专线物流等。

大模型“提速”驾驶自动化

人类探索无人驾驶技术已超过40年，大模型的蓬勃发展让高阶自动驾驶的技术和体验明显提速。小马智行联合创始人、CEO彭军认为，目前从辅助驾驶到更高阶的辅助驾驶大爆发已经开始，从全无人Robotaxi到L3、L4的应用，马上将有大的爆发。

按照我国《汽车驾驶自动化分级标准》，汽车智能驾驶共有L0至L5六个级别，L4意味着在绝大部分场景下，车辆可实现自动驾驶，只是在极端情况下需要人类干预；L5是在任何场景下，都可以实现自动驾驶，也就是真正意义上的无人驾驶。

据了解，成立于2016年的小马智行很早就开始研究AI大模型在自动驾驶领域的应用，主要有三方面：大规模仿真系统、线下大模型自动标注系统、自动驾驶端到端大模型。

以大规模仿真系统为例，我国持续铺设无人驾驶智能网联乘用车的试点运营，截至2023年底累计道路测试总里程8800万公里。但事实上，路测时间和资金成本花费大，很多厂商会在上路前将测试放入计算机仿真系统中，通过训练大量真实道路数据，模拟自车行为、学习车辆开法，预测车辆行为。

在数据自动标注的应用方面，大模型通过对红绿灯、斑马线等路况、交通信息进行清楚标注，为机器提供准确的训练样本，相比人工标注速度提升几十倍甚至上百倍，目前，小马智行超过95%的标注任务已无需人工干预。

端到端大模型则为高级别自动驾驶的研发及应用带来新思路，例如通过提高通用性，让自动驾驶车辆能够快速扩展到新的城市或国家，从而加速自动驾驶的普及。

“安全”仍是最大挑战

于创业公司而言，自动驾驶已经走过“概念时代”。技术、政策、产业链、用户接受度几大要素同步推进，自动驾驶技术才能落到实处。

厂商们深谙此理。楼天城认为，“安全”依然是自动驾驶最重要的，无论是在自动驾驶车辆实际使用过程中，还是公众的心理层面，这不单是对大模型的挑战，也是所有自动驾驶从业者都要解决的问题。此外，大模型需要大量的数据进行训练，相应需要购买大算力芯片，如何提高算力效率成为了自动驾驶创业公司做大模型的关键。

在自动驾驶行业，大模型到底能走多远？业内讨论认为，L4级别自动驾驶要求车辆在复杂多变的交通环境中，具备高度的自主决策能力。这不仅仅是对环境的感知，更涉及到对交通规则的深刻理解、对突发事件的迅速反应，以及对长期驾驶策略的精准制定。国际汽车工程师协会（SAE）的报告指出，即使是最先进的自动驾驶系统，也难以保证在所有长尾场景下都能做出正确决策，大模型技术在这些低频但关键的场景中，往往因为缺乏足够的数据支持而显得无能为力。

对此，业内的企业和研究机构正在尝试通过构建更加多样化和平衡的数据集、开发更加鲁棒的模型结构、利用多模态数据融合技术等，提高模型对复杂场景的理解和应对能力。同时，行业内也在推动算法的可解释性研究，以提高大模型技术的透明度，满足自动驾驶系统对安全性和可靠性的高要求。

“AI+自动驾驶”的多种可能

2024年，关于自动驾驶的政策利好不断。年初，工信部等五部门部署开展智能网联汽车“车路云一体化”应用试点工作，据悉，依靠这一系统所获得的数据规模以及数据类型的丰富度都会得到大幅提升，从而反哺自动驾驶大模型的训练。

地方层面，据不完全统计，目前国内已有北京、上海、广州、深圳、杭州等超过50个城市出台自动驾驶试点示范政策，加速拓展应用场景。比如，广州是国内首批开放远程测试许可的城市之一，并对自动驾驶软硬件系统的安全性、可靠性提出了细化要求，为基于实时数据监管的自动驾驶路测表现和能力明确了量化门槛。

在楼天城的设想中，随着AI和自动驾驶结合得更加紧密，自动驾驶行业将驶入更具想象空间的时代。比如，在座舱内，可以通过语音、图像等方式，与自动驾驶系统进行交互反馈，提高驾驶安全性和乘坐舒适性；系统通过分析交通数据，优化交通信号控制、城市道路规划等，提高道路使用效率，降低交通拥堵；未来自动驾驶大规模落地后，人类也许不再需要购买私家车，只需要打一辆自动驾驶出租车即可，或许还可以购买一辆自动驾驶汽车，让它出门挣钱。

谈及现实与未来，楼天城表示，随着自动驾驶车辆大规模铺开，希望能够推动无人驾驶相关法律法规的出台，为其争取“权利”，例如，对于自动驾驶车辆上路门槛、事故责任划分判定等需要有更明确的规定。