3D目标检测是自动驾驶领域最核心的技术之一。近日，在自动驾驶权威评测集 nuScenes上，京东物流自动驾驶团队提出的雷达和图像前融合算法PAI3D，获得多传感器融合3D目标检测世界第一的成绩（使用任意传感器，不使用额外数据），这意味着京东物流末端配送自动驾驶技术已经位于世界领先水平。

图一：京东物流提出的雷达和图像前融合算法PAI3D，获得多传感器融合3D目标检测世界第一（使用任意传感器，不使用额外数据）

PAI3D是京东物流自动驾驶基于丰富的末端配送场景经验，提出的雷达和图像前融合3D目标检测算法，该算法充分考虑了识别精度，计算效率，传感器标定误差等问题。在车端实际使用中，有效解决了远处点云稀疏导致的识别不稳定、特殊材质吸收点云导致的漏检、细小障碍物难以识别以及仅依赖单目视觉3D目标检测深度估计不准确等问题，有力支撑了京东物流智能配送车的大规模运营。

nuScenes数据集是由现代汽车集团和Aptiv合资成立的自动驾驶公司Motional(前nuTonomy)于2019年3月公布的超大型自动驾驶数据集，拥有从波士顿和新加坡等城市收集的1000个驾驶场景，140万张图像，39帧万激光雷达点云，140万毫米波雷达帧和从4万关键帧中标注的140万个障碍物真值框，是第一个大规模自动驾驶数据集，该数据集来自自动驾驶车辆的整个传感器套件(6个摄像头，1个激光雷达，5个雷达，GPS，IMU）的数据,在标注数据量上是KITTI数据集的7倍，其规模和难度超过KITTI、Udacity等公共数据集。同时参与 nuScenes 多传感器融合3D目标检测的包括华为、商汤科技、三星、中国科学技术大学、上海交通大学、北京航空航天大学、北京理工大学、香港中文大学、得克萨斯大学奥斯汀分校、南洋理工大学、约翰斯·霍普金斯大学等国内外知名企业和研究机构。

图二：京东物流雷达和图像前融合算法PAI3D示意图

目前在自动驾驶L4方案中，感知主要依赖激光雷达，但激光雷达存在一些缺陷，比如远处信息稀疏，没有颜色信息等。图像信息可以弥补这些缺陷，但也缺乏深度信息。因此，在自动驾驶的技术中，如何利用多模态的传感器信息来设计3D检测算法，是自动驾驶感知系统的核心基础。京东物流此次提出的PAI3D算法，通过在高级特征和低级特征层面融合图像和点云信息，扬长避短，取得了很好的识别精度。同时PAI3D考虑了车端的算力分配，传感器标定误差等因素，具备良好的实用性。此外，PAI3D还有效的解决了复杂公开道路运营中遇到的一系列难题，例如，远处点云稀疏导致的识别不稳定、特殊材质吸收点云导致的漏检、细小障碍物难以识别, 以及仅依赖单目视觉3D目标检测深度估计不准确等问题，提升了障碍物位置和类别估计的准确度，减少了障碍物误检测和漏检测。

PAI3D此次取得nuScenes数据集多传感器融合3D目标检测世界第一的成绩，可以为京东物流末端配送的自动驾驶技术带来以下三点优势。首先是可通过多传感器融合实现模块复用、任务复用。随着运营场景增加，自动驾驶的感知系统需要识别越来越多的要素，PAI3D能跨传感器模态进行信息融合，充分利用图像和点云语义分割信息来实现1+1>2的效果。第二，充分考虑了计算资源分配的问题，具备灵活部署到车端异构并行计算平台的实用性。在未来的车载系统中，需要考虑分时复用、异构并行计算等问题。PAI3D的融合方式可以随着计算资源变化而灵活部署。第三，标定误差和运动补偿不敏感，在日常运营中，传感器相对位置会随着时间积累而变化，并且激光雷达和相机的物理原理导致两者之间存在一定程度的时空不一致性。PAI3D充分考虑了这个问题，能在一定限度内容忍标定误差和运动补偿误差，具备很强的容错性。正是基于这三点优势，不仅彰显出京东物流在自动驾驶领域的技术实力，而且意味着京东物流末端配送自动驾驶技术已经位于世界领先水平。

近年来，在长期技术投入和创新驱动下，京东物流软件、硬件及系统集成的三位一体供应链物流技术核心竞争力持续升级，目前已形成了覆盖园区、仓储、分拣、运输、配送等供应链各关键环节的技术产品及解决方案，以提升预测、决策和智能执行能力，帮助更多客户全面优化供应链网络，提升数智化能力和运营效率。此次获得nuScenes多传感器融合3D目标检测世界第一，再次彰显出京东物流在自动驾驶领域已经搭建起成熟的研发和运营体系，凭借京东物流提供的丰富运营场景，可以实现快速的升级迭代，加速长尾场景的发现和解决，完善大规模运营能力，形成技术和规模降本，为整个行业提供经验和借鉴。