深读:恶劣天气 LiDAR 感知综述(arXiv 2304.06312)
本文是对 arXiv:2304.06312 全文(50KB 已缓存) 的系统拆解笔记,原文标题《恶劣天气下激光雷达感知综述》。作者为 Mercedes-Benz AG 与弗莱堡大学(Mariella Dreissig 等),是该方向最系统的综述之一。 原文为英文,本文为中文要点整理,结构保留原文框架。与笔记 09(机制与失效模式)互补:笔记 09 讲”为什么坏”,本文讲”怎么应对”的研究全景。 版权说明:本文为公开资料(论文/专利/厂商文档)的中文要点综述与整理,非原文转载。完整内容与图表请访问文末「信息来源」中的原始链接;引用请注明原始出处。
0. 论文定位
Section titled “0. 论文定位”- 已有研究大多分析”恶劣天气下 LiDAR 性能如何退化”,但缺少对”算法应对策略”的系统总结;
- 本综述从三个视角展开:
- 数据可得性(真实/合成数据集)
- 点云处理与去噪(与感知任务无关的通用处理)
- 鲁棒感知(融合、训练增强、域自适应)
1. 关键背景认识(引言)
Section titled “1. 关键背景认识(引言)”- LiDAR 是主动传感器,通过飞行时间测距;天气/粉尘导致后向散射(backscatter)与偏转 → 点云出现噪声距离/反射率测量;
- 重要反直觉结论:降雨率更高不一定导致点云质量更差——传感器退化与天气特征呈非线性关系;
- 除颗粒物外,低温冻结/机械故障也是退化来源(工业场景同理:北方堆场冬季);
- 标注困难:稀疏且有噪声的点云人工标注昂贵易错 → 数据增强/仿真成为重要路线。
2. 恶劣天气数据集全景(论文 Table I)
Section titled “2. 恶劣天气数据集全景(论文 Table I)”| 数据集 | 天气 | LiDAR | 标注 |
|---|---|---|---|
| STF(Seeing Through Fog,透视浓雾) | 雾+天气舱 | VLP-32C, HDL64-S3 | 4 类目标检测 |
| CADC(Canadian Adverse Driving,加拿大恶劣驾驶) | 雪 | VLP-32C | 10 类检测 |
| ADUULM | 雨/雪/雾 | 2×VLP-16, 2×VLP-32 | 12 类语义分割 |
| WADS(Winter Adverse Driving,冬季恶劣驾驶) | 雪 | 2×VLP-16 | 22 类 + 2 类雪的逐点标注(唯一) |
| LIBRE | 多种 | 12 种雷达型号 | 无(专用于雷达型号基准对比) |
| RADIATE | 多种 | 2×HDL-32E | 雷达 2 类 |
要点:
- 多数为真实道路采集;STF/LIBRE 部分来自天气舱(可完全控制条件但不够真实);
- 只有 WADS 提供逐点天气标注(雪粒子级);
- 全部提供天气元数据(天气站环境数据或天气类型);
- 工业启示:工业场景(料场/港口/矿山)没有公开恶劣天气数据集——比自动驾驶更缺,只能自采或迁移。
3. 数据增强与仿真(II-B)
Section titled “3. 数据增强与仿真(II-B)”三条路线:物理模型增强、经验模型增强、深度学习增强。
- 物理模型(奠基):将接收强度建模为线性系统——发射脉冲与场景响应的卷积;场景响应包含固体反射 + 天气后向散射与衰减;
- 雾增强(Hahner 模型):基于最大可视距离(强度、雷达参数、能见度的函数),距离超限的点按概率变为散射点或丢失;
- 雨增强:把能见度参数/散射概率换算为降雨率;更精细的模型考虑光束发散角(超采样光束与雨滴求交);
- 功率域模型:对比”固体反射衰减功率 vs 随机散射体功率”与距离相关噪声阈值——散射功率更高 → 加散射点;固体功率低于阈值 → 丢点;
- 湿地面增强:水膜导致地面点丢失(工业场景:雨后堆场地面反射变化,同源问题);
- GAN 增强:晴→雾/雨的图像翻译式点云转换(数据驱动,但真实性难以验证)。
4. 传感器层面的天气鲁棒性(III-A)
Section titled “4. 传感器层面的天气鲁棒性(III-A)”- 波长:905nm 为主流;1550nm 因允许更高发射功率,在浓雾下可见性更好(与笔记 08/09 一致);
- 全波形 LiDAR(FWL):不只记录一两次回波,而是记录所有弱回波——噪声更多但信息更全,可分析周围介质(如区分雾滴与目标),为”感知环境动态变化”提供基础,代价是计算资源高。
5. 传感器退化估计与天气分类(III-B)
Section titled “5. 传感器退化估计与天气分类(III-B)”- 退化估计:基于 LiDAR 方程的降雨数学模型(降雨率 + 最大量程 → 性能退化估计);后续发展为异常检测任务(DL 学习晴/雨扫描的隐式区分)和验证任务(强化学习检测检测/跟踪模型失效);
- 天气分类:经典机器学习(kNN、SVM)+ 手工特征即可获得满意结果;特征集依赖感知表面(大气区域 vs 路面区域最优特征不同);概率模型可回归降雨率;
- 局限:多数方法在天气舱数据上训练,需真实数据验证。
6. 点云去噪方法谱系(III-C)
Section titled “6. 点云去噪方法谱系(III-C)”- 统计/邻域方法:
- ROR:固定半径邻居计数——远距离点云自然稀疏,固定阈值失效;
- DROR:动态半径(距离的函数)——效果更好但运行时间长,难以车规实时;
- SOR:全局统计阈值,同样慢;
- FCSOR / DSOR:为降低计算负载的加速变体(工业实时部署的候选);
- 强度感知方法:
- 分析发现:天气引起的测量误差具有高密度、低强度、近距离、快速衰减的特征;
- LIOR:低强度离群点移除(基于粒子尺寸假设 + 手动”雪强度”阈值);
- DDIOR:动态距离-强度离群点移除——预滤波降计算量,雪天效果优秀(笔记 06 有收录);
- 路侧雷达去噪:利用历史数据建立背景模型 + 强度阈值/局部密度(固定式工业雷达(堆场立柱式)可直接借鉴);
- 深度学习去噪:CNN(尤其体素化)优于经典方法且推理更快;无监督 CycleGAN 可将噪声点云转为干净扫描,但真实性难以验证;
- 综述结论(重要):统计方法效果 < 训练时用天气增强数据 < CNN/GAN 方法。
7. 鲁棒感知(IV)
Section titled “7. 鲁棒感知(IV)”7.1 传感器融合
Section titled “7.1 传感器融合”- 相机对强光/泛光(blooming)敏感;雷达不受天气影响但无法检测静态物体和精细结构;LiDAR 受颗粒物影响 → 三者互补;
- 关键结论:晚融合(late fusion)优于早融合(early fusion)——只要有一个传感器完好,模型可以依赖它并忽略失效者;早融合(如雷达+LiDAR 深度图)可滤除误检但耦合更紧;
- BEV 表示下 LiDAR 特征强的模型,在 LiDAR 受损时性能下降更明显;
- 教师-学生网络可应对完全传感器失效;自适应熵导向融合、注意力融合是趋势;
- 有意思的发现:LiDAR-only 模型在”可行驶区域分割 + 推理时间”综合指标上得分最高——融合不是免费的。
7.2 训练增强 vs 去噪
Section titled “7.2 训练增强 vs 去噪”- 天气增强训练比去噪更有效(让模型习惯噪声 > 事后移除噪声);
- 点级/体素化特征提取器受天气增强影响较小(模型架构选择本身是一种鲁棒性手段);
- 小目标/少样本类别退化更严重(钢卷堆里的零星小件、远处卡车同理)——训练集中该类标注数量是恶劣天气下检测性能的预测指标。
7.3 域自适应(域迁移视角)
Section titled “7.3 域自适应(域迁移视角)”- 天气变化 = 一种特殊域迁移(domain shift);
- 教师-学生跨域训练(晴天教师给雨天学生生成标签)可提升目标域泛化;
- 注意力 + 全局上下文特征可忽略天气噪声;最大差异损失联合训练可在晴/雨两个域同时表现良好;
- 多模态多目标域自适应(域判别器 + 自监督预训练)可泛化到未知雾天。
8. 研究缺口与方向(结论章,直接可引用)
Section titled “8. 研究缺口与方向(结论章,直接可引用)”- 真实世界恶劣天气数据集不足:多数数据集只有目标框标注,仅 1 个有逐点标注;缺少真实数据训练/验证增长中的 DL 算法;
- 增强真实性评估方法缺失:增强数据的真实感无法系统验证;
- 缺”天气对感知算法影响”的系统分析:传感器退化研究充分,但算法层面影响分析不足(传感器退化估计方法可弥补);
- 统计去噪 < 训练增强:CNN/GAN 去噪或可弥合差距;
- 融合 ≠ 忽视 LiDAR-only:融合结果好,但 LiDAR 单传感器鲁棒性不应被忽视;异常检测/不确定性建模等域自适应方法值得探索。
9. 对工业场景(堆取料机/矿卡/港口)的迁移启示
Section titled “9. 对工业场景(堆取料机/矿卡/港口)的迁移启示”| 综述结论 | 工业迁移 |
|---|---|
| 天气增强训练 > 去噪 | 矿卡/堆取料机感知模型训练时,先做雨/雾/尘点云增强,而不是只加滤波 |
| 晚融合优于早融合 | 港口/矿山多传感器方案优先做决策级融合,保留单传感器独立性 |
| 1550nm 浓雾可见性更好 | 北方/沿海堆场、港口雾季选型 1550nm |
| 高密度/低强度/近距离/快衰减 = 天气噪声特征 | 堆场固定雷达可直接用该特征做尘噪识别 |
| 路侧雷达用背景模型去噪 | 堆场立柱式固定雷达(背景静止)可借鉴 |
| 天气舱数据需真实数据验证 | 工业粉尘环境用实测数据验证增强/仿真效果 |
| 小目标退化更严重 | 钢卷堆中的鞍座、远处卡车等小目标需更多训练标注 |
10. 信息来源
Section titled “10. 信息来源”- 论文全文(HTML,已缓存本地):https://arxiv.org/html/2304.06312
- 论文 PDF(已下载 /tmp/pi-webaio/downloads/2304.06312):https://arxiv.org/pdf/2304.06312
- 引用:Dreissig, M., Scheuble, D., Piewak, F., & Boedecker, J. (2023). Survey on LiDAR Perception in Adverse Weather Conditions(《恶劣天气下激光雷达感知综述》). arXiv:2304.06312.
版权提示:arXiv 论文为作者预印本,可自由阅读与引用;本文为中文要点整理,引用请标注原始论文。