AI大模型如何加速无人驾驶发展 | 赛迪奇智看天下
1、数据：虚拟仿真、影子模式、自动标注引入将优化信息采集、处理能力
海量的数据、高效的数据标识是算法模型的基础。数据的来源有：
（1）真实数据：行车采集到的真实世界的信息，与汽车销量直接挂钩。智能驾驶起步早、出货量高的车企具备先发优势。
（2）虚拟仿真：通过 AI 自动生成道路场景、车辆、行人等信息，对模型进行训练。 可用于对行车采集到的 corner case 进行反复模拟、训练，从而弥补现实场景采集信息不足的问题。
（3）影子模式：大模型在车辆后台运行，模拟决策而不实际控车，不会对驾驶者及车辆产生任何干扰。但是在有异常场景或模型与人类驾驶员的决策不同时，触发数据 采集及回传，使得量产车即等同于“数采车”。 数据采集的下一步是对数据进行识别、标注。随着智能驾驶的成熟，激光雷达 3D 点云信息、摄像头采集的 2D 图像信息的增加，道路场景的丰富，自动驾驶的数据标注类型与数量在不断增加。
人工标注成本高、效率低，自动标注是 AI 大模型赋能智能驾驶最直接的应用，能大幅降低数据标注的成本。据相关数据显示，目前要得到对诸如车道线、交通参与者、红绿灯等信息，行业人工标注的成本约每张图为 5 元。科技公司大模型训练成熟后，单张图自动标注的边际成本趋近于 0，平均成本有望进一步下降。目前数据标注以人工标注为主，机器标注为辅，95%的数据标注还是以人工为主。
图片来源于网络
2、数据来源：通过仿真模拟，对 corner case 进行大规模训练
针对真实道路场景中不常见的案例，部分车企通过模拟仿真，构建虚拟场景采集数据，以丰富数据的来源，为模型训练提供支持；通过数据引擎，人工挖掘误判的、非典型案例。 目前部分车企可以在 5min 内自动生成一个复杂路口 3D 虚拟场景。进一步，还可以通过道路中的场景，创建更多变 种场景，帮助算法训练，无需每种场景都通过实际道路测试来采集数据，大大提高了数据的丰富性。同时，通过人工挖掘非典型的机器误判案例， 将其加入各类训练集，以不断更新完善模型。
3、数据标注：通过自动标注优化系统效率，降低标注成本
部分车企通过“多重轨迹重建”技术自动标注车辆行驶轨迹。目前在集群中运行 12 小 时即可完成 10,000 次行驶轨迹标注，取代 500 万小时人工标注。通过机器的自我训练， 减少了人力标注成本高、效率低的问题。 具体步骤如下：
（1） 高精轨迹获取，将车辆行驶过程中的采集的始排信息、车辆运动 IMU 陀螺仪、速度等指标作为原始信号输入，提取车辆的运动轨迹以及 3D 结构的道路细节。（2）多旅程重建，基于所有车辆的轨迹信息，进行道路信息的匹配和优化。在用户道路信息的基础上再次确认数据，从而查漏补缺。
图片来源于网络
4、算法：优化感知-决策-执行三阶段
智驾解决方案供应商多使用基于 pixel 点格的 BEV 模型，使用矩形框 （bonding box）来框定物体，进行物体识别。 部分车企提出了占用网络（Occupancy Network）模型，直接将 3D 空间点格化， 每个 3D 点格即为一个 voxel，在摄像头采集的平面信息基础上添加时间、空间信息，可输出，具体如下：
（1）该 3D 点格被占用的概率（例如：区分静止的车辆/运动的车辆）；（2）语义信息 （Semantics output；例如：区分静止的车辆/路牙）；（3）表面信息（Surface output；例 如：坡度、泥坑、积水）。
占用网络模型在原有 BEV 模型基础上升级，通过占用网络可以将摄像头采集 的视频内的真实世界数据即时转换成三维向量空间。将空间划分成一个个 3D 栅格，每个栅格有占用和空闲两种状态，通过这种栅格数据可以更精确地反映路面物体真实体积和形状。同时根据路侧建筑、行人、车辆等不同，可以赋予不同物体不同的语义，并标注不同的颜色。
图片来源于网络
占用网络相较于之前在障碍物识别和行驶路径预判方面有了明显提升，具体来看：
（1）通过占用网络，只需分析物体的空间内栅格占用情况，不需对物体本身进行检测识别， 规避传统视觉算法中对物体识别失败带来的车祸风险。尤其在面对静态障碍物、与周围环 境类似的障碍物、训练模型中未涵盖到的障碍物时，可以更大程度的规避风险。
（2）占用网络解决传统视觉算法难题及还原道路坡度和曲率，辅助行车更优决策。通过计算几何空间的体积占用率，可以在占用网络中精确地还原物体本身形状。占用网络塑造的 3D 世界还可以还原道路的坡度和曲率，让车辆根据实际道路情况提前预测加速和减速判 断，进一步提高行车安全性和舒适度。
（3）基于占用网络可以预测道路上其它物体的行进轨迹。通过对栅格进行光流估计来检测 物体运动并预测其短期行进运动轨迹，并标注上丰富的语义（红色—静止，蓝色—加速， 黄色—减速等），从而在车辆行驶过程中规划最优行驶路径进行避让，保证驾驶安全性。