Skip to content

深读:恶劣天气 LiDAR 感知综述(arXiv 2304.06312)

本文是对 arXiv:2304.06312 全文(50KB 已缓存) 的系统拆解笔记,原文标题《恶劣天气下激光雷达感知综述》。作者为 Mercedes-Benz AG 与弗莱堡大学(Mariella Dreissig 等),是该方向最系统的综述之一。 原文为英文,本文为中文要点整理,结构保留原文框架。与笔记 09(机制与失效模式)互补:笔记 09 讲”为什么坏”,本文讲”怎么应对”的研究全景。 版权说明:本文为公开资料(论文/专利/厂商文档)的中文要点综述与整理,非原文转载。完整内容与图表请访问文末「信息来源」中的原始链接;引用请注明原始出处。

  • 已有研究大多分析”恶劣天气下 LiDAR 性能如何退化”,但缺少对”算法应对策略”的系统总结;
  • 本综述从三个视角展开:
    1. 数据可得性(真实/合成数据集)
    2. 点云处理与去噪(与感知任务无关的通用处理)
    3. 鲁棒感知(融合、训练增强、域自适应)
  • LiDAR 是主动传感器,通过飞行时间测距;天气/粉尘导致后向散射(backscatter)与偏转 → 点云出现噪声距离/反射率测量;
  • 重要反直觉结论:降雨率更高不一定导致点云质量更差——传感器退化与天气特征呈非线性关系;
  • 除颗粒物外,低温冻结/机械故障也是退化来源(工业场景同理:北方堆场冬季);
  • 标注困难:稀疏且有噪声的点云人工标注昂贵易错 → 数据增强/仿真成为重要路线。

2. 恶劣天气数据集全景(论文 Table I)

Section titled “2. 恶劣天气数据集全景(论文 Table I)”
数据集天气LiDAR标注
STF(Seeing Through Fog,透视浓雾)雾+天气舱VLP-32C, HDL64-S34 类目标检测
CADC(Canadian Adverse Driving,加拿大恶劣驾驶)雪VLP-32C10 类检测
ADUULM雨/雪/雾2×VLP-16, 2×VLP-3212 类语义分割
WADS(Winter Adverse Driving,冬季恶劣驾驶)雪2×VLP-1622 类 + 2 类雪的逐点标注(唯一)
LIBRE多种12 种雷达型号无(专用于雷达型号基准对比)
RADIATE多种2×HDL-32E雷达 2 类

要点:

  • 多数为真实道路采集;STF/LIBRE 部分来自天气舱(可完全控制条件但不够真实);
  • 只有 WADS 提供逐点天气标注(雪粒子级);
  • 全部提供天气元数据(天气站环境数据或天气类型);
  • 工业启示:工业场景(料场/港口/矿山)没有公开恶劣天气数据集——比自动驾驶更缺,只能自采或迁移。

三条路线:物理模型增强、经验模型增强、深度学习增强。

  • 物理模型(奠基):将接收强度建模为线性系统——发射脉冲与场景响应的卷积;场景响应包含固体反射 + 天气后向散射与衰减;
  • 雾增强(Hahner 模型):基于最大可视距离(强度、雷达参数、能见度的函数),距离超限的点按概率变为散射点或丢失;
  • 雨增强:把能见度参数/散射概率换算为降雨率;更精细的模型考虑光束发散角(超采样光束与雨滴求交);
  • 功率域模型:对比”固体反射衰减功率 vs 随机散射体功率”与距离相关噪声阈值——散射功率更高 → 加散射点;固体功率低于阈值 → 丢点;
  • 湿地面增强:水膜导致地面点丢失(工业场景:雨后堆场地面反射变化,同源问题);
  • GAN 增强:晴→雾/雨的图像翻译式点云转换(数据驱动,但真实性难以验证)。

4. 传感器层面的天气鲁棒性(III-A)

Section titled “4. 传感器层面的天气鲁棒性(III-A)”
  • 波长:905nm 为主流;1550nm 因允许更高发射功率,在浓雾下可见性更好(与笔记 08/09 一致);
  • 全波形 LiDAR(FWL):不只记录一两次回波,而是记录所有弱回波——噪声更多但信息更全,可分析周围介质(如区分雾滴与目标),为”感知环境动态变化”提供基础,代价是计算资源高。

5. 传感器退化估计与天气分类(III-B)

Section titled “5. 传感器退化估计与天气分类(III-B)”
  • 退化估计:基于 LiDAR 方程的降雨数学模型(降雨率 + 最大量程 → 性能退化估计);后续发展为异常检测任务(DL 学习晴/雨扫描的隐式区分)和验证任务(强化学习检测检测/跟踪模型失效);
  • 天气分类:经典机器学习(kNN、SVM)+ 手工特征即可获得满意结果;特征集依赖感知表面(大气区域 vs 路面区域最优特征不同);概率模型可回归降雨率;
  • 局限:多数方法在天气舱数据上训练,需真实数据验证。
  • 统计/邻域方法:
    • ROR:固定半径邻居计数——远距离点云自然稀疏,固定阈值失效;
    • DROR:动态半径(距离的函数)——效果更好但运行时间长,难以车规实时;
    • SOR:全局统计阈值,同样慢;
    • FCSOR / DSOR:为降低计算负载的加速变体(工业实时部署的候选);
  • 强度感知方法:
    • 分析发现:天气引起的测量误差具有高密度、低强度、近距离、快速衰减的特征;
    • LIOR:低强度离群点移除(基于粒子尺寸假设 + 手动”雪强度”阈值);
    • DDIOR:动态距离-强度离群点移除——预滤波降计算量,雪天效果优秀(笔记 06 有收录);
  • 路侧雷达去噪:利用历史数据建立背景模型 + 强度阈值/局部密度(固定式工业雷达(堆场立柱式)可直接借鉴);
  • 深度学习去噪:CNN(尤其体素化)优于经典方法且推理更快;无监督 CycleGAN 可将噪声点云转为干净扫描,但真实性难以验证;
  • 综述结论(重要):统计方法效果 < 训练时用天气增强数据 < CNN/GAN 方法。
  • 相机对强光/泛光(blooming)敏感;雷达不受天气影响但无法检测静态物体和精细结构;LiDAR 受颗粒物影响 → 三者互补;
  • 关键结论:晚融合(late fusion)优于早融合(early fusion)——只要有一个传感器完好,模型可以依赖它并忽略失效者;早融合(如雷达+LiDAR 深度图)可滤除误检但耦合更紧;
  • BEV 表示下 LiDAR 特征强的模型,在 LiDAR 受损时性能下降更明显;
  • 教师-学生网络可应对完全传感器失效;自适应熵导向融合、注意力融合是趋势;
  • 有意思的发现:LiDAR-only 模型在”可行驶区域分割 + 推理时间”综合指标上得分最高——融合不是免费的。
  • 天气增强训练比去噪更有效(让模型习惯噪声 > 事后移除噪声);
  • 点级/体素化特征提取器受天气增强影响较小(模型架构选择本身是一种鲁棒性手段);
  • 小目标/少样本类别退化更严重(钢卷堆里的零星小件、远处卡车同理)——训练集中该类标注数量是恶劣天气下检测性能的预测指标。
  • 天气变化 = 一种特殊域迁移(domain shift);
  • 教师-学生跨域训练(晴天教师给雨天学生生成标签)可提升目标域泛化;
  • 注意力 + 全局上下文特征可忽略天气噪声;最大差异损失联合训练可在晴/雨两个域同时表现良好;
  • 多模态多目标域自适应(域判别器 + 自监督预训练)可泛化到未知雾天。

8. 研究缺口与方向(结论章,直接可引用)

Section titled “8. 研究缺口与方向(结论章,直接可引用)”
  1. 真实世界恶劣天气数据集不足:多数数据集只有目标框标注,仅 1 个有逐点标注;缺少真实数据训练/验证增长中的 DL 算法;
  2. 增强真实性评估方法缺失:增强数据的真实感无法系统验证;
  3. 缺”天气对感知算法影响”的系统分析:传感器退化研究充分,但算法层面影响分析不足(传感器退化估计方法可弥补);
  4. 统计去噪 < 训练增强:CNN/GAN 去噪或可弥合差距;
  5. 融合 ≠ 忽视 LiDAR-only:融合结果好,但 LiDAR 单传感器鲁棒性不应被忽视;异常检测/不确定性建模等域自适应方法值得探索。

9. 对工业场景(堆取料机/矿卡/港口)的迁移启示

Section titled “9. 对工业场景(堆取料机/矿卡/港口)的迁移启示”
综述结论工业迁移
天气增强训练 > 去噪矿卡/堆取料机感知模型训练时,先做雨/雾/尘点云增强,而不是只加滤波
晚融合优于早融合港口/矿山多传感器方案优先做决策级融合,保留单传感器独立性
1550nm 浓雾可见性更好北方/沿海堆场、港口雾季选型 1550nm
高密度/低强度/近距离/快衰减 = 天气噪声特征堆场固定雷达可直接用该特征做尘噪识别
路侧雷达用背景模型去噪堆场立柱式固定雷达(背景静止)可借鉴
天气舱数据需真实数据验证工业粉尘环境用实测数据验证增强/仿真效果
小目标退化更严重钢卷堆中的鞍座、远处卡车等小目标需更多训练标注
  • 论文全文(HTML,已缓存本地):https://arxiv.org/html/2304.06312
  • 论文 PDF(已下载 /tmp/pi-webaio/downloads/2304.06312):https://arxiv.org/pdf/2304.06312
  • 引用:Dreissig, M., Scheuble, D., Piewak, F., & Boedecker, J. (2023). Survey on LiDAR Perception in Adverse Weather Conditions(《恶劣天气下激光雷达感知综述》). arXiv:2304.06312.

版权提示:arXiv 论文为作者预印本,可自由阅读与引用;本文为中文要点整理,引用请标注原始论文。