BEV感知模型实用的一些经验

点击下方卡片&＃xff0c;关注“CVer”公众号

AI/CV重磅干货&＃xff0c;第一时间送达

点击进入—>自动驾驶微信技术交流群

作者&＃xff1a;Captain Jack | &＃xff08;源&＃xff1a;知乎&＃xff09;编辑&＃xff1a;CVer

https://zhuanlan.zhihu.com/p/596524036

目前实用 BEV 的技术方案已经有大概半年时间了&＃xff0c;多个 BEV 模型都在不同项目做了实际部署&＃xff0c;可以在这些工作的基础上做一些经验总结了。

内容其实是断断续续写的&＃xff0c;因为新冠的脑雾在我身上可感知的大概持续了半个月。

BEV 带来的优势&＃xff1a;

1. 实际的运行性能提升

虽然这个看起来比较反直觉。但是实际上性能反而比 2D 任务更好&＃xff0c;而且还能保持基本对标甚至更好的指标。同样的两个任务&＃xff0c;我们使用更少的算力&＃xff08;1/3 不到&＃xff09;&＃xff0c;由单相机扩展到 6相机&＃xff0c;依然保持了实时运行。在测试指标上&＃xff0c;基本保持了一致。当然&＃xff0c;我们的 BEV 感知范围减少了侧向和后向的范围。

相比传统的方案&＃xff0c;主要的提升来源&＃xff1a;

1. 整个 Pipeline 处理更加简单和一致&＃xff0c;相比一些传统的方案&＃xff0c;代码量降低了很多&＃xff0c;在工程方向上&＃xff0c;这个极大的一个优点。越少的代码&＃xff0c;代表越少的bug&＃xff0c;越低的维护成本。

2. 由于没有了 infer 后的一些额外后处理工作带来的指标降低&＃xff0c;模型结构可以进一步简化&＃xff0c;不用在模型这里去补偿。

3. Multi-scale 的融合集中在模型内部。

4. 在 BEV 的统一框架下&＃xff0c;我们可以将多个任务融合在一个模型中统一处理。

2. 稳定性提升

这个无需怀疑&＃xff0c;我们的经验和之前 Tesla AI day 上的一些宣传是一致的&＃xff1a;

• 模型预测正确的情况下&＃xff0c;车道线的内外八、大幅度的抖动基本不会出现。单单这一点&＃xff0c;已经解决了非常多的问题。

• 从上一点引申出来&＃xff0c;之前的很多问题都可以很容易的归约到一个问题上&＃xff1a;更多的数据。看起来很粗暴&＃xff0c;但是这是数据驱动的前置条件&＃xff0c;不满足这个条件&＃xff0c;就不用谈什么数据驱动。

3. 多目模型无盲区

在使用多目的 BEV 模型后&＃xff0c;车身周边的障碍物感知是提升显著的。由于多个原因&＃xff0c;评测集合中的车身侧后的 GT 是有盲区的&＃xff0c;模型都可以正常检测。目标在切换不同相机感知范围时&＃xff0c;在我们自己的测试集上看&＃xff0c;很少有跳变。

4. 功能扩展难度降低

由于这一框架更加稳定&＃xff0c;通用&＃xff0c;功能扩展基本都可以在 head 上简单增加内容。比如 Tracking Embedding 的功能&＃xff0c;代码 &＃43; 验证训练&＃xff0c;仅仅需要 3 天&＃xff0c;实际上绝大部分时间都在训练上。

问题&＃xff1a;

1. 硬件支持

主要的来源是算子限制。最近一年中&＃xff0c;BEV 的论文&＃xff0c;百家齐放。但是落实到我们使用的 AI 加速器上&＃xff0c;大部分都不支持。即使勉强支持&＃xff0c;性能也不行。我们最终还是切换到 MLP 的方案上实现上车运行。

2. 信息丢失

2D -> 3D 的转换模块带来的信息损失&＃xff0c;带来的直接问题就是远距离、小目标的检测不理想。不过由于目前阶段的感知范围相对比较小&＃xff0c;还没有要求到100m开外&＃xff0c;所以整体上表现还不明显。但是这个问题可能依然是未来必须要面对的问题&＃xff0c;我这里有一部分的工作也在尝试缓解这个问题。

3. 数据需求

1. 数据量需求较大&＃xff1a;

   由于2D -> 3D 的部分我们使用的是 MLP&＃xff0c;非常容易过拟合。

   视觉上 3D 本身的 augmentation 很难做&＃xff0c;而且对于硬件标定有依赖。

2. 生成难度也较大&＃xff1a;目前阶段还大量使用激光来辅助数据生成&＃xff0c;但是这样的方案由于传感器的原因&＃xff0c;在未来是没法扩展的。这也是目前阶段我们在尝试考虑的一个问题。

3. 随着多目任务的引入&＃xff0c;带来了一个很难避免的问题&＃xff1a;模型和相机的布置基本处于一个硬绑定的状态。对于普通的公司&＃xff0c;必须面对这个问题&＃xff1a;怎么样可以用尽量少的数据、更快的适配新的车型。在我看来这是一个体系化的解决方案&＃xff0c;数据、硬件、算法、工程&＃xff0c;都需要针对这一问题作出适应。

4. 目前来看&＃xff0c;特斯拉的 4D 标注在静态元素上确实是一个比较符合逻辑的方案&＃xff0c;成本和效率都比较高&＃xff08;当然也会有一些问题&＃xff09;。但是动态元素上的工作&＃xff0c;我们还在考虑。

挑战&＃xff1a;

1. 感知面对战争迷雾的挑战

当然这个和 BEV 本身并没有直接关系。但是感知模块即使做到完美也存在盲区、遮挡、极限范围外的问题。所以&＃xff0c;如何更好的处理不确定性&＃xff0c;增加容错度是依然需要面对的问题。

我自己爱说的一句&＃xff1a;感知做到最后都是预测。一旦涉及到预测&＃xff0c;就引入了不确定性和概率。如何利用模型来应对这个问题&＃xff0c;应该是未来工作内容的一个重点。

2. 新的 2D -> 3D 转换模块的探索

在学界&＃xff0c;已经有很多方案。主要方向&＃xff1a;利用投影、Transformer 及其变体、直接的MLP。

目前从应用角度来看&＃xff0c;都还有或多或少的缺陷。怎样实用化一个新的转换模块&＃xff0c;也是需要考虑的。公司内部也有其他的 team 做了一些探索性的工作&＃xff0c;提供了一些情报支持&＃xff0c;我们自己也在开展下一代转换模块的选型和试验。

从我个人的角度来看&＃xff0c;逐渐的减少先验限制才可能会有更好的结果。当然&＃xff0c;从工业界研发来看&＃xff0c;要把握好时机和程度&＃xff0c;做好平衡。

3. 数据量的提升

BEV 方案相对来说是比较吃数据的。当然&＃xff0c;也没有夸张到是数据怪兽&＃xff0c;非特斯拉的数据量不行&＃xff0c;正常的公司慢慢迭代稳定后&＃xff0c;是可以达到一个基准线的。

本身引入 3D 空间后&＃xff0c;augmentation 变得很难&＃xff0c;尤其是多相机相互之间的关系让这个问题更加复杂。最可靠的方法反而是&＃xff1a;堆更多的数据。

点击进入—>CV微信技术交流群

CVPR/ECCV 2022论文和代码下载

后台回复&＃xff1a;CVPR2022&＃xff0c;即可下载CVPR 2022论文和代码开源的论文合集

后台回复&＃xff1a;ECCV2022&＃xff0c;即可下载ECCV 2022论文和代码开源的论文合集

后台回复&＃xff1a;Transformer综述&＃xff0c;即可下载最新的3篇Transformer综述PDF

自动驾驶 交流群成立
扫描下方二维码&＃xff0c;或者添加微信&＃xff1a;CVer222&＃xff0c;即可添加CVer小助手微信&＃xff0c;便可申请加入CVer-自动驾驶 微信交流群。另外其他垂直方向已涵盖&＃xff1a;目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注&＃xff1a;研究方向&＃43;地点&＃43;学校/公司&＃43;昵称&＃xff08;如自动驾驶&＃43;上海&＃43;上交&＃43;卡卡&＃xff09;&＃xff0c;根据格式备注&＃xff0c;可更快被通过且邀请进群▲扫码或加微信号: CVer222&＃xff0c;进交流群
CVer学术交流群&＃xff08;知识星球&＃xff09;来了&＃xff01;想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料&＃xff0c;欢迎扫描下方二维码&＃xff0c;加入CVer学术交流群&＃xff0c;已汇集数千人&＃xff01;▲扫码进群
▲点击上方卡片&＃xff0c;关注CVer公众号

整理不易&＃xff0c;请点赞和在看