Skip to content

雨雾尘霾与强光环境滤波

1.1 激光雷达在自主系统中的关键作用

Section titled “1.1 激光雷达在自主系统中的关键作用”

激光雷达(Light Detection and Ranging, LiDAR)技术通过发射激光束并探测反射信号,能够生成高分辨率的三维点云数据,为自主系统提供了精确的环境感知能力。它具备高分辨率、360 度全方位感知以及昼夜一致的性能等优点,使其成为自主车辆(AV)、机器人技术以及其他需要精确空间感知的应用领域中不可或缺的传感器。LiDAR 能够提供精确的距离测量信息,有效补充了摄像头(提供丰富的纹理和颜色信息)和雷达(在某些天气下具有较强穿透性)等其他传感器的能力。精确的三维环境感知是实现自主系统核心功能,如高精度定位、地图构建、障碍物检测与跟踪以及路径规划等的基础。

尽管 LiDAR 具有显著优势,但在雨、雾、雪、尘霾等恶劣天气条件下,以及在强烈的阳光干扰下,其性能会显著下降。这种性能下降具体表现为点云中出现大量噪点、虚假目标(鬼影点)、探测距离衰减、强度值波动、目标点缺失以及点云粘连或拖影等问题。特别地,阳光,尤其是直射阳光,是一个主要的噪声源,它会使探测器饱和或干扰有效信号的接收,严重影响数据质量。这些问题严重损害了基于 LiDAR 的感知系统的可靠性和安全性,成为实现更高级别自动驾驶(如 L4 及以上)的主要障碍之一。针对这些挑战的缓解技术研究大约从 2020 年开始随着自动驾驶研究的加速而兴起,并持续至今。

应对这些挑战需要采取多方面的综合策略,主要包括:

  • 点云处理与滤波: 直接从原始点云数据中去除噪声和离群点,是提高数据质量的关键预处理步骤。
  • 传感器融合: 将 LiDAR 与其他传感器(如摄像头、雷达、惯性测量单元 IMU)的数据进行融合,利用不同传感器的互补优势,尤其是在恶劣天气下,不同传感器的性能退化程度不同,融合可以提高系统的整体鲁棒性。
  • 标定: 确保传感器之间精确的空间对齐(外参标定),这是实现有效传感器融合的前提。
  • 数据增强与仿真: 在真实恶劣天气数据稀缺的情况下,通过物理建模或基于学习的方法生成合成数据,以增强感知模型的鲁棒性。

本综述旨在深入探讨上述策略,特别是点云滤波和传感器融合技术,用于解决或抑制 LiDAR 在恶劣环境下的性能下降问题,并关注其原理、方法、实现、优缺点以及对高清高分辨率 LiDAR 的效益。

2. 理解 LiDAR 性能退化机制与伪影

Section titled “2. 理解 LiDAR 性能退化机制与伪影”

为了有效设计缓解策略,首先必须理解恶劣环境导致 LiDAR 性能下降的物理机制以及由此产生的点云数据伪影。

2.1 与大气颗粒物(雨、雾、雪、尘霾)的物理相互作用

Section titled “2.1 与大气颗粒物(雨、雾、雪、尘霾)的物理相互作用”

当 LiDAR 发射的激光束在空气中传播时,会与悬浮的颗粒物(如雨滴、雾滴、雪花、尘埃)发生复杂的物理相互作用:

  • 散射(Scattering): 激光与颗粒物碰撞后向不同方向偏转。散射类型取决于颗粒物尺寸与激光波长的相对关系,对于尺寸远大于波长的雨、雾、尘颗粒,主要是米氏散射(Mie scattering)。散射导致激光能量分散,部分光束偏离原路径。
  • 吸收(Absorption): 颗粒物(特别是水滴)会吸收部分激光能量,将其转化为热能,导致返回传感器的信号强度减弱。
  • 反射/后向散射(Reflection/Backscattering): 部分激光能量被颗粒物直接反射回 LiDAR 传感器,这些并非来自真实目标的信号会被探测器接收,形成点云中的噪声点或虚假探测。
  • 折射/弥散/漫射(Refraction/Dispersion/Diffusion): 激光穿过不同介质(如水滴)时路径发生弯折(折射)。雨滴可能导致光束弥散。雾则主要引起漫射,即光线向各个方向散射,使得激光束路径变得模糊,难以区分目标回波和颗粒物回波。

这些物理效应的相对重要性取决于天气类型及其强度。例如,雾天以漫射和衰减为主,而雨天则伴随着明显的散射、吸收和折射。值得注意的是,LiDAR 性能的退化程度与天气参数(如降雨率、雾的能见度)之间往往呈现非线性关系。此外,不同工作波长的 LiDAR(常见的有 850nm, 865nm, 905 nm 和 1550 nm)对不同天气现象的敏感度也存在差异,例如 1550 nm 波长光源由于可以使用更高功耗,干燥情况下可能具备更远的量程,但对大气水吸收更敏感,所以在雨雾雪天气下性能退化会非常严重。

环境光,特别是太阳光,是室外 LiDAR 系统面临的另一个严峻挑战:

  • 干扰机制: 太阳光谱范围宽广,包含了 LiDAR 常用的近红外波段(尤其是 850-905 nm 附近)。当强烈的太阳光直接或间接(如通过反射)进入 LiDAR 接收器时,会产生强大的背景光噪声。
  • 影响: 强背景光可能导致探测器饱和,使得微弱的目标回波信号被淹没;或者大幅提高噪声基底,降低信噪比,导致错误的距离测量或产生大量虚假探测点。在高反射率地表(如积雪、干燥地面)上空,阳光反射会进一步加剧干扰。
  • 缓解思路: 传统的窄带光学滤波可以滤除带外噪声,但对带内太阳光干扰效果有限。其他技术包括偏振滤波(利用太阳光通常非偏振的特性)、创新的激光调制与探测方案(如携带轨道角动量(OAM)的激光配合衍射滤波器)、先进的信号处理算法(如基于时间相关单光子计数(TCSPC)的动态差分机制,区分激光回波与环境光)、采用对太阳光不敏感的传感器技术(如调频连续波(FMCW)LiDAR) 或在太阳辐射较弱的光谱窗口工作(如短波红外 SWIR 或 940nm 波段)。

除了大气中的颗粒物,附着在传感器保护罩表面的污染物也会影响 LiDAR 性能:

  • 机制: 雨滴、灰尘等颗粒物会粘附在 LiDAR 的外部窗口(通常是聚碳酸酯等材料)上。液滴的形态(铺展、形成水珠)和行为(粘附、滑动)受到窗口材料表面特性(如亲水性、疏水性)的显著影响。此外,人为制造的雾屏也可形成物理遮挡。
  • 影响: 附着的颗粒物如同微小的透镜或障碍物,会遮挡或偏折出射和入射的激光束,导致目标点丢失、返回信号强度(反射率)降低,甚至产生测量失真。路面积水形成的镜面反射也会干扰 LiDAR 对路面的探测,导致探测距离缩短或出现空洞。对抗性攻击甚至可以利用人造雾屏干扰点云滤波算法,隐藏真实障碍物。

上述物理机制最终在 LiDAR 点云数据中表现为多种类型的伪影:

  • 噪声点(Noise Points):

无效的数据点,不对应场景中的真实物理表面。

  • 散射噪声(Scattered Noise): 由单个大气颗粒物(雨、雪、尘)后向散射产生的随机分布的稀疏点。

  • 鬼影点/物体(Ghost Points/Objects): 错误的探测点,有时会呈现一定的结构或聚类形态。可能由水面反射、车辆溅起的水花、浓密颗粒云团被误识别、高反射率物体导致的“光晕”(blooming)或多径反射、或其他 LiDAR 传感器间的串扰(crosstalk)引起。

  • 虚警(False Alarms): 将噪声点聚类错误地识别为真实障碍物。

  • 量程衰减/探测距离缩短(Range Attenuation/Reduction): 由于信号在传播过程中的吸收和散射,LiDAR 能够探测到的最大距离减小。

  • 强度波动/退化(Intensity Fluctuations/Degradation): 点云中点的强度(或反射率)值发生变化,可能因为颗粒物相互作用、目标表面湿润或传感器本身特性导致。

  • 点云粘连/拖影(Point Cloud Adhesion/Smearing): 由于传感器窗口附着物导致的失真或数据缺失。

  • 点密度降低(Reduced Point Density): 真实目标表面上探测到的有效点数量减少,原因可能是遮挡、信号衰减或低于探测阈值。

理解这些伪影的来源至关重要。特定的物理相互作用(如散射、吸收、附着)直接导致了不同的点云伪影(如噪声、衰减、缺失点),这些伪影进而降低了下游感知算法(如目标检测、定位)的性能。这建立了一条清晰的因果链:环境因素 → 物理相互作用 → 数据伪影 → 算法性能下降 → 安全风险。认识到这条链条是开发有效应对策略的基础。

此外,LiDAR 数据固有的非均匀性(点云密度随距离变化)与恶劣天气条件相互作用,进一步加剧了挑战。噪声可能在远处稀疏,在近处密集,而真实目标的点密度则随距离增加而降低。这种复杂性使得采用固定参数的简单滤波方法难以在整个探测范围内有效区分信号和噪声。这凸显了发展自适应滤波方法(如 DROR, DSOR, AORI, AGDOR)的必要性。

退化机制的多样性和复杂性表明,单一的“万能”解决方案可能不存在。实现全天候鲁棒性的途径很可能在于结合硬件改进(如传感器设计、波长选择、表面涂层)、智能自适应的软件滤波算法以及针对特定条件优化的传感器融合策略。

表 1:恶劣环境对 LiDAR 数据影响总结

条件主要物理机制典型点云伪影主要影响参数示例参考文献
雨 (Rain)散射、吸收、折射、反射(路面)、窗口粘连噪声点(散射、鬼影)、虚警、量程衰减、强度降低、点密度降低、目标点缺失(粘连)距离、强度、密度、噪声类型/水平
雾 (Fog)散射(米氏,主要是漫射)、吸收噪声点(密集/弥散)、虚警、量程严重衰减、强度降低、点密度降低距离、强度、密度、噪声类型/水平
雪 (Snow)散射、吸收、反射、低强度特性噪声点(密集/稀疏)、虚警、量程衰减、低强度噪声、点密度降低距离、强度、密度、噪声类型/水平
尘霾 (Dust)散射、吸收、反射噪声点(密集/稀疏)、虚警、量程衰减、强度变化距离、强度、密度、噪声类型/水平
强光 (Sunlight)背景光干扰、探测器饱和大量随机噪声点、虚警、信号淹没、探测器饱和(致盲)噪声水平、信噪比
粘连 (Adhesion)窗口遮挡、光束偏折目标点缺失、强度降低、局部失真密度、强度

点云滤波是处理原始 LiDAR 数据、提高数据质量的关键步骤,其目标是在去除噪声和离群点的同时,最大限度地保留真实物体的点云信息及其几何特征,特别是边缘和细节。针对恶劣天气条件下的 LiDAR 点云,研究人员开发了多种滤波算法,从传统的基于几何、统计的方法到现代的基于学习的方法。

3.1 基于统计与邻域的方法(包括离散滤波/离群点去除)

Section titled “3.1 基于统计与邻域的方法(包括离散滤波/离群点去除)”
  • 原理: 这类方法的基本假设是,噪声点(如大气颗粒物散射产生的点)与其邻近点的空间分布特性(如距离、密度)通常与位于真实物体表面的点不同。通过分析每个点局部邻域内的统计属性来识别和剔除异常点。

  • 算法:

  • 统计离群点移除(Statistical Outlier Removal, SOR): 计算每个点到其 k 个最近邻点的平均距离。如果某点的平均邻域距离显著偏离整个点云的全局平均距离(通常以全局平均距离加上/减去倍数标准差定义阈值),则将其视为离群点并移除。PCL(Point Cloud Library)库中提供了该算法的实现。

  • 半径离群点移除(Radius Outlier Removal, ROR): 移除在指定半径 r 内邻居点数量少于 k 个的点。

  • 体素滤波(Voxel Grid Filtering): 将点云空间划分为均匀的三维栅格(体素),用每个体素内所有点的质心(或中心点)来近似代表该体素内的点。这主要是一种降采样方法,也能去除一些稀疏噪声,但会损失细节。

  • 聚类方法: 将点云数据划分为若干簇。尺寸过小或过于稀疏的簇被认为是噪声并移除。例如,基于核的聚类、K-means 或基于密度的方法(如 DBSCAN)。

  • Z-score 滤波: 利用点在各坐标轴上的标准分数(Z-score)来识别和剔除远离平均值的离群点。

  • 直通滤波(Pass-Through Filter, PTF): 最简单的滤波方式,直接移除坐标值在指定范围之外的点。

  • 局部最优投影(Local Optimal Projection, LOP)及其变种: 如加权 LOP(WLOP)、连续 LOP(CLOP)等,利用局部算子进行滤波,但可能导致过度平滑,不适合保留尖锐特征。

  • 动态变种:

针对传统方法对 LiDAR 点云密度不均匀敏感的问题,发展出了动态调整参数的变种:

  • 动态半径离群点移除(Dynamic Radius Outlier Removal, DROR): 根据点到传感器的距离动态调整搜索半径 r。距离传感器越远的点,其邻域搜索半径越大,以适应点云密度的降低。有研究基于此开发了用于雪天点云滤波的 ROS 节点。

  • 动态统计离群点移除(Dynamic Statistical Outlier Removal, DSOR): 同样根据点的距离或局部点分布动态调整统计阈值(如标准差倍数),而非使用固定的全局统计量。已有开源实现。

  • 优点: 概念相对简单,部分简单方法计算效率高。对稀疏、孤立的噪声点效果较好。动态变种能更好地处理密度不均的点云。

  • 缺点: 难以处理密集的噪声团簇。可能错误地移除稀疏的有效点(如远距离目标、细小结构)。对参数(如 k 值、标准差倍数、半径 r)的选择非常敏感,需要针对不同场景和数据进行调整。可能过度平滑,丢失边缘、角点等尖锐特征和细节。静态版本在点云密度变化大时表现不佳。

  • 性能: 在恶劣天气基准测试中,SOR/ROR 的性能(如准确率、F1 分数)通常低于更先进的方法,常被用作基线对比。DSOR/DROR 相较于 SOR/ROR 有显著改进。

3.2 基于强度与反射率的方法(包括反射率滤波)

Section titled “3.2 基于强度与反射率的方法(包括反射率滤波)”
  • 原理: 利用恶劣天气中的噪声颗粒(如雪花、雨滴、尘埃)通常具有与固体目标不同的激光反射强度(intensity)或反射率(reflectivity)这一特性进行区分。例如,雪花通常反射强度较低。
  • 算法:
  • 简单强度阈值滤波: 设定一个或多个强度阈值,直接移除强度值低于或高于阈值的点。
  • 低强度离群点移除(Low-Intensity Outlier Removal, LIOR): 专门针对雪天设计。首先根据强度阈值筛选出低强度点,然后对这些低强度点应用 ROR 滤波。目的是保留低强度但密集的有效结构(如深色物体),同时去除稀疏的低强度雪花噪声。目前未找到公开的完整代码库,但相关文献提供了伪代码和原理描述。
  • 动态距离-强度离群点移除(Dynamic Distance–Intensity Outlier Removal, DDIOR): 结合了基于距离(类似 DSOR)和基于强度(类似 LIOR)的判据,并动态调整阈值。
  • AGDOR(第一阶段): 利用从标注数据中学习到的强度阈值,对点云进行初步划分,将高强度点视为可能的物体点,低强度点视为可能的噪声点,送入后续处理。
  • 反射率/置信度映射: 以激光反射率作为基准模板,构建初始置信度模板,用于初步筛选稀疏的尘埃点云。
  • 优点: 当强度信息能够清晰区分噪声和目标时(如某些类型的雪或尘埃),方法简单有效。计算量小(尤其是简单阈值法)。与空间滤波方法结合可以提高鲁棒性。
  • 缺点: 强度值本身可能存在歧义。噪声颗粒和某些有效目标(如深色物体、远距离物体、潮湿表面)可能具有相似的低强度值,导致误分类。滤波效果高度依赖于阈值的选择,而最优阈值可能随传感器、环境和天气状况变化。强度值受传感器特性、目标材质、距离、入射角和环境因素(如湿度)影响。
  • 性能: LIOR 在去除雪点方面优于 SOR/ROR,但可能移除有效点。DDIOR 和 AGDOR 通过结合强度和空间信息,通常表现出较好的综合性能。85 报告了 LIOR 在去除尘埃方面的性能指标:准确率约 98%,精确率约 75%,召回率约 92%,F1 分数约 83%。
  • 原理: 将稀疏、无序的三维点云投影到二维表示(如距离图像、鸟瞰图(BEV)或球面投影图像),利用成熟且高效的二维图像处理技术进行滤波,同时可以解决 LiDAR 在垂直方向上角度分辨率不均匀的问题。
  • 算法:
  • 距离图像滤波: 直接在二维距离图像上应用滤波算法(如自适应离群点移除)。
  • 基于距离图像的自适应离群点移除(Adaptive Outlier Removal filter on range Image, AORI): 将三维点(包含距离、方位角、俯仰角信息)通过球面投影映射到二维距离图像像素。在距离图像上,对每个像素计算一个基于距离的自适应搜索半径(SRa,b=α×θ×Ra,b,其中 Ra,b 是像素对应的距离,α 是乘数因子,θ 是 LiDAR 角度分辨率)。统计该半径内的邻居像素数量。根据邻居数量与阈值的比较,将像素标记为离群点(雪)或核心点(物体)。目前未发现公开的 AORI 代码库。
  • Range-Segmentation( 公司): 将三维点云转换为二维距离图像,然后使用卷积神经网络(CNN)提取空间特征,用于检测可行驶区域,并能识别和处理由水坑反射引起的空洞。
  • 优点: 利用二维栅格结构,邻域搜索通常比在三维空间中更快,计算效率较高。有效处理了旋转扫描式 LiDAR 垂直分辨率不均匀的问题。可以应用成熟的二维图像处理算法。
  • 缺点: 投影过程可能导致信息损失或失真,例如,三维空间中分离的点可能投影到同一像素,或者空间邻近关系在二维图像上被破坏。对于在三维空间中非常接近物体表面的噪声点,投影到二维图像后可能难以区分。需要额外的投影预处理步骤。
  • 性能: AORI 在 WADS 雪天数据集上报告了领先的准确率(>96%)和 F1 分数(约 90%),且处理速度较快(0.26 秒/帧)。 的 Range-Segmentation 被报道能有效处理矿区水坑问题。
  • 原理: 利用机器学习(ML)或深度学习(DL)模型,从大量数据中自动学习区分噪声和有效点云表面的复杂模式,无需手动设计规则或阈值。这类方法可以执行噪声点分类、语义分割(区分背景、物体、噪声)或直接对噪声点进行位置校正。
  • 架构:
  • 基于 CNN 的方法: 通常在点云的二维投影(距离图像、BEV)或体素化表示上操作。例如:WeatherNet(用于天气分类和分割)、RangeNet++(语义分割)、SqueezeSeg(语义分割)、SAFDN(恶劣天气语义分割)、 深度学习(用于矿区尘埃过滤)。
  • 基于点的方法: 直接处理原始点集,更好地保留几何结构。例如:PointNet、DGCNN、PCPNet(估计局部形状属性)、PointCleanNet(结合离群点分类和点位移估计进行去噪)、IterativePFN(迭代滤波)。
  • 其他架构: 基于分数的方法(利用噪声分布构建梯度场)、基于 Transformer 的方法(如 NoiseTrans,用于提取精细特征)、StraightPCF(基于速度场估计将噪声点移向干净表面)。
  • 优点: 能够处理传统方法难以应对的复杂、非线性噪声模式。在保留物体特征方面可能做得更好。在噪声模式与物体结构相似时,可能达到更高的准确率。一些方法不仅移除噪声,还能进行表面重建或点位校正。
  • 缺点: 需要大量带标注的训练数据,而针对各种恶劣天气条件的标注数据非常稀缺。常常依赖仿真或增强数据进行训练,存在领域自适应(domain gap)问题,即模型在真实世界数据上的泛化能力可能不足。训练和(有时)推理过程计算成本高昂。模型可解释性差(“黑箱”问题)。
  • 性能: 在基准测试中,基于学习的方法通常优于传统方法。例如,SAFDN 在恶劣天气语义分割任务上优于 WeatherNet、SqueezeSeg、RangeNet++。PointCleanNet 被证明在离群点移除和去噪方面有效。 的深度学习在处理矿区扬尘方面效果显著。
  • 原理: 这并非一类独立的滤波算法,而是许多先进滤波方法中采用的一种核心思想。它指的是根据局部点云特性(如密度、距离)、传感器测量距离或其他上下文信息,动态地调整滤波参数(如距离阈值、邻居数量阈值、强度阈值),而不是使用固定的全局值。这种方法承认 LiDAR 数据固有的非均匀性以及噪声水平在不同区域可能存在的差异。
  • 应用实例(作为组件):
  • DROR: 动态调整搜索半径。
  • DSOR: 动态调整统计阈值。
  • AORI: 在距离图像上使用基于像素距离的自适应搜索半径。
  • AGDOR: 在三维空间中使用基于点距离的自适应搜索半径。
  • DDIOR: 动态结合距离和强度阈值。
  • HSOR(High-Speed Outlier Removal): 根据测量距离计算动态阈值。
  • 优点: 相较于静态阈值方法,对传感器探测范围内变化的点密度和噪声水平具有更好的鲁棒性。能更好地保留远距离的有效点。通常能提高整体滤波准确率。
  • 缺点: 计算每个点或区域的动态阈值可能需要额外的计算开销。自适应逻辑本身可能引入新的需要调整的参数(例如 AORI/AGDOR/DROR 中的乘数因子 α)。
  • 性能: 集成了动态阈值思想的方法(DROR, DSOR, AORI, AGDOR, DDIOR)在恶劣天气基准测试中通常优于它们的静态对应方法(SOR, ROR)。
  • 原理: 这同样不是一个独立的滤波类别,而是指一类侧重于改善点云局部区域表示或理解的技术,通常通过增强特征、自适应地处理邻域或更好地保留局部几何结构来实现。许多复杂的邻域方法或学习方法都内含了局部增强的思想。
  • 应用实例:
  • 特征增强层(如 DNet 中的 FELayer): 在进一步处理前,显式地增强局部邻域内的流形特征。
  • 引导滤波(Guided Filtering): 利用引导信息(例如来自原始数据或简化模型)在滤波过程中保护边缘等结构。常基于局部线性模型。
  • 鲁棒统计(如 IRLS): 迭代地优化邻域定义,并估计曲率、法线等几何属性,用于驱动保持特征的去噪过程。
  • 基于学习的特征提取器: 深度学习模型本身就能学习局部特征。像 PointCleanNet 或 PCPNet 这样的架构会估计鲁棒的局部特征用于去噪。基于 Transformer 的方法(如 NoiseTrans)旨在有效提取和保留精细的局部特征。
  • 优点: 相较于简单的平均或统计方法,能更好地保留尖锐特征(如边缘、角点)和精细细节。为需要详细局部几何信息的下游任务(如精细重建、抓取)提供了更好的输入。
  • 缺点: 计算上可能更密集。在噪声水平极高、局部结构完全被破坏的情况下,效果可能仍然有限。效果很大程度上取决于学习到的特征或引导信息的质量。
  • 性能: 侧重于特征保留的方法通常具有更好的视觉效果,并在依赖几何细节的下游任务中表现更佳。DNet 通过改进邻域学习,在分类和分割任务上显示出性能提升。
  • 原理: 利用点云序列的时间信息。基本假设是:静态背景和稳定移动的物体在连续帧之间表现出一致性,而瞬态噪声(如雪花、雨滴)在帧间的出现位置是随机的、无序的。
  • 算法实例:
  • 增强/削弱方法: 中描述的方法使用连续三帧点云,去除地面点后,通过某种机制让有序物体(静态背景)相互增强,让无序物体(雪花)相互削弱,从而达到去噪目的。
  • 时序偏移增强(Temporal Offset Augmentation): 在训练基于序列的目标检测器时,随机地在序列中引入时间偏移(例如,跳过某些帧),以提高模型对时序变化的鲁棒性。
  • Li 等人 *84* 的工作: 利用时空特征来去除雪花噪声。
  • 优点: 能有效区分瞬态噪声(尤其是雪,可能也适用于雨)与静态或运动一致的物体。可以改善在雪天等条件下的感知性能。数据增强策略有助于提高检测器的鲁棒性。
  • 缺点: 依赖于场景相对静态或帧间运动可预测的假设。在自身运动速度很快或环境中动态物体很多的情况下,性能可能下降。需要存储和处理多帧数据,增加了内存占用和计算负担。对于移动缓慢或在局部区域短暂停留的噪声模式可能效果不佳。
  • 性能: 中的方法旨在增强雪天 LiDAR 感知能力。24 中的增强方法显示能提高目标检测准确率。

从简单静态滤波到自适应、多模态融合、时序分析和深度学习,点云滤波技术的发展趋势清晰地反映了应对 LiDAR 在恶劣环境中复杂性的持续努力。然而,一个核心的挑战始终存在:如何在有效去除噪声的同时,最大限度地保留有用的场景信息,特别是在噪声特性与某些真实物体特征(如稀疏结构、低反射率)相似的情况下。过于激进的滤波会丢失信息,而过于保守则会残留噪声。这要求根据具体的应用场景、传感器特性、天气条件以及下游任务的需求来权衡和选择最合适的滤波策略。单一的滤波方法往往难以应对所有情况,组合使用多种技术或采用更智能的自适应方法可能是更优的选择。

表 2:关键点云滤波算法性能比较

算法 (示例)原理关键特征优点缺点性能简述 (参考数据集/来源)目标条件
SOR统计静态统计阈值简单,对稀疏离群点有效对密度变化敏感,参数调整困难,易误删通常作为基线,性能较低通用离群点
ROR邻域静态半径和邻居数阈值简单对密度变化敏感,参数调整困难,易误删通常作为基线,性能较低通用离群点
DROR邻域/动态阈值基于距离的动态半径对密度变化鲁棒性更好计算量稍大,仍可能误删优于 ROR/SOR,尤其在雪天雪,通用离群点
DSOR统计/动态阈值基于距离/分布的动态统计阈值对密度变化鲁棒性更好计算量稍大,仍可能误删优于 SOR,性能与 DROR 相似或略优雪,通用离群点
LIOR强度/邻域强度阈值 + ROR针对低强度噪声(如雪、尘)有效,计算相对简单易误删低强度目标,对阈值敏感对雪/尘有效,但召回率可能不高雪,尘
DDIOR强度/距离/动态阈值动态结合距离和强度信息平衡强度和空间信息,鲁棒性较好参数调整可能复杂,计算量较大综合性能较好,优于单一方法雪,通用噪声
AGDOR强度/邻域/动态阈值强度初筛 + 动态密度聚类高精确率,保留物体点较好,速度优于 DROR/DDIOR召回率相对较低,对近物雪点处理有限高精确率和 F1 分数,速度适中雪
AORI投影/邻域/动态阈值距离图像 + 自适应半径滤波处理垂直分辨率不均,速度快于部分 3D 动态方法,高准确率/F1投影可能损失信息,召回率低于部分方法在 WADS 雪数据集上准确率 (>96%) 和 F1(>90%) 领先,速度较快 (0.26s)雪
PointCleanNet学习 (Point-based)离群点分类 + 点位移估计数据驱动,能处理复杂噪声,保留特征需大量标注数据,计算量大在去噪和离群点移除方面表现良好通用噪声/离群点
SAFDN学习 (CNN on Projection)语义分割网络,关注天气在恶劣天气语义分割上性能优越依赖投影,需标注数据在 Weather-KITTI 等数据集上优于 WeatherNet 等雾,雨(分割)
Multi-Frame Method时序利用帧间一致性/随机性有效区分瞬态噪声(如雪)需多帧处理,对快速运动敏感旨在增强雪天感知雪

4. 先进缓解策略:传感器融合与标定

Section titled “4. 先进缓解策略:传感器融合与标定”

当恶劣天气导致 LiDAR 数据严重退化(如大量点丢失、探测距离急剧缩短)时,仅靠滤波可能不足以保证可靠的感知。此时,融合来自其他传感器的信息成为关键策略。同时,精确的传感器标定和运动补偿是实现有效融合和保证数据质量的基础。

  • 基本原理: 不同类型的传感器(如 LiDAR、摄像头、雷达、IMU)具有不同的工作原理和物理特性,因此它们在不同环境条件下的优势和劣势各不相同。例如,摄像头提供丰富的颜色和纹理信息,但在低光照和恶劣天气下性能下降;雷达对天气(尤其是雨、雾)有良好的穿透性并能测量速度,但分辨率较低;IMU 提供高频的自身运动信息。通过融合这些互补信息,可以克服单一传感器的局限性,获得更全面、更鲁棒的环境感知结果。这种策略在恶劣天气下尤为重要,因为不同传感器受天气影响的程度往往是不对称的。
  • LiDAR-摄像头融合:
  • 优势: 结合 LiDAR 精确的三维几何信息和摄像头的二维图像纹理、颜色及语义信息,能够增强目标检测、分类和场景理解能力。
  • 挑战: 摄像头对光照变化(强光、阴影、夜晚)和天气(雨雪遮挡、雾气模糊)非常敏感。融合效果严重依赖于精确的外参标定。融合策略需要有效处理两种模态数据在时间和空间上的对齐问题,以及可能由深度估计或视角转换引入的误差。当摄像头数据质量严重下降时,融合性能会受到影响。
  • LiDAR-雷达融合(特别是 4D 雷达):
  • 优势: 雷达(尤其是新兴的 4D 成像雷达,能提供距离、方位、俯仰和速度信息)对雨、雾、雪等恶劣天气具有很强的鲁棒性,因为其使用的毫米波能够穿透这些粒子。雷达还能直接测量目标的多普勒速度。将 LiDAR 的高分辨率几何信息与雷达的全天候探测能力和速度信息相结合,被认为是提高恶劣天气下感知性能的极具潜力的方法。相较于 LiDAR-摄像头融合,LiDAR-雷达(点云)融合通常不涉及复杂的视角转换或深度估计,空间对应关系的处理相对直接。
  • 挑战: LiDAR 和雷达的数据形态差异巨大。雷达点云通常比 LiDAR 点云稀疏得多,分辨率低,且噪声特性不同。这给特征提取和融合带来了挑战,需要设计精巧的融合策略来有效弥合这两种模态的差距。融合过程可能增加计算负担。
  • 算法/框架: 近年来涌现了多种 LiDAR-4D 雷达融合框架,如 L4DR、M2Fusion、InterFusion、3D-LRF、RADLER 以及在融合流程中加入去噪模块的方法(如 MDD)。这些方法通常包含多模态编码器、模态间交互模块、门控融合机制等,以实现早期或深度特征融合。
  • LiDAR-IMU 融合:
  • 优势: IMU 能够提供高频率(通常>100Hz)的载体角速度和线加速度测量值。这对于实时估计 LiDAR 自身的运动状态至关重要,是实现精确的同时定位与地图构建(SLAM) 和校正 LiDAR 扫描过程中因载体运动引起的点云畸变(运动补偿) 的核心。融合 IMU 可以显著提高定位的鲁棒性,尤其是在 LiDAR 特征退化(如在结构单一的环境或恶劣天气下)或 GPS 信号丢失的情况下。
  • 方法: 通常使用卡尔曼滤波器(KF)或其变种(如扩展卡尔曼滤波器 EKF、无迹卡尔曼滤波器 UKF)来融合 LiDAR 的里程计信息(或原始点云)和 IMU 的测量值。融合可以是松耦合(融合各自独立的位姿估计结果)或紧耦合(直接融合原始测量值,通常更精确但更复杂)。
  • 重要性: 精确的外参标定是多传感器融合的基础和前提。它旨在确定不同传感器坐标系之间的相对姿态变换(旋转矩阵 R 和平移向量 t),从而能够将来自不同传感器的数据统一到同一个坐标系下进行处理和融合。标定误差会直接影响融合效果,导致目标位置偏差、重影等问题。

  • 方法分类:

  • 基于目标物的标定: 使用特定设计的、能够被多个传感器同时清晰观测到的人工目标物(如棋盘格、球体、特殊图案板、ARUCO 标记等)。通过在不同传感器数据中识别目标上的对应特征点(如角点、圆心、边缘),建立二维和三维(或三维和三维)的对应关系,进而求解传感器间的外参。对于某些特殊传感器(如热成像相机),需要对目标物进行改造(如使用不同导热材料制作、预先加热或冷却、内置发热元件)。

  • 无目标物的标定:

不依赖特定目标物,而是利用周围环境中的自然特征或传感器的运动信息来估计外参。主要方法包括:

  • 基于信息论的方法(如最大化互信息)。

  • 基于特征的方法(匹配点、线、面等几何特征或语义特征)。

  • 基于运动的方法(比较不同传感器估计的自身运动轨迹)。

  • 基于学习的方法(利用深度学习网络直接估计外参)。

  • 挑战: 无目标物方法通常更复杂,对环境特征或运动有要求,且精度可能不如基于目标物的方法。传感器外参可能随时间(由于振动、热胀冷缩等)发生漂移,可能需要进行在线或定期的“二次标定”来维持精度。恶劣天气本身是否会影响无目标物标定所依赖的特征的稳定性,是一个值得考虑的问题(现有资料未明确讨论)。实现高精度的标定始终是关键。

  • 问题描述: 大多数机械扫描式 LiDAR(以及部分固态 LiDAR)并非瞬时获取整个场景的点云,而是通过旋转或扫描机制,在一段时间内(通常几十到几百毫秒)逐点或逐线采集数据。如果在此期间传感器载体(如车辆)发生了运动(平移或旋转),那么扫描结束时获得的点云实际上是由不同时刻、不同位置和姿态采集到的点的集合,这将导致点云发生几何畸变或扭曲。例如,原本垂直的墙面可能变成倾斜的,运动物体会产生拖尾。
  • 解决方案: 利用高频运动传感器(主要是 IMU,通常与 GPS 或其他定位信息融合以修正漂移)提供的实时位姿估计。首先,需要精确估计 LiDAR 扫描过程中每个点(或一小段时间内的点簇)采集的精确时间戳。然后,根据 IMU/GPS 融合得到的载体运动轨迹,插值计算出每个点采集时刻载体的精确位姿。最后,将每个点从其采集时刻的坐标系转换到扫描起始(或结束)时刻的统一坐标系下,从而消除因载体运动引入的畸变。
  • 益处: 获得几何上更准确、一致的点云数据,这对于后续的地图构建、精确定位、目标检测和识别至关重要,尤其是在车辆高速行驶或进行机动动作时。有效校正墙面倾斜、物体拖尾等运动畸变伪影。

传感器融合正逐渐成为应对恶劣天气挑战的主流策略,特别是 LiDAR 与 4D 雷达的结合,因其能直接弥补 LiDAR 在天气穿透性上的短板而备受关注。这种组合被视为实现全天候感知的有力途径。然而,融合的成功并非理所当然。它高度依赖于高质量的输入数据(意味着有效的预处理,如滤波和运动补偿)以及精确的传感器标定。如果原始数据质量差或传感器间对不齐,融合效果将大打折扣。这表明,滤波、标定、运动补偿和融合是一个相互关联、层层递进的处理链,任何环节的薄弱都可能影响最终的感知性能。因此,先进的融合方法开始探索自适应机制,如 L4DR 中的 MSGF 模块、WRGNet 和 MDD 模块,它们能够根据估计的数据质量或环境条件动态调整不同传感器的信息权重,以期在各种天气下都能做出最优的融合决策。这种从“盲目融合”到“智能融合”的转变,体现了对传感器特性和环境影响更深刻的理解。

表 3:恶劣天气下传感器融合策略比较

融合类型在恶劣天气下的主要优势主要挑战示例算法/框架典型融合层级性能备注 (天气鲁棒性提升)关键参考文献
LiDAR-摄像头补充语义/纹理信息摄像头易受光照/天气影响,标定精度要求高,融合误差(通用融合框架)早/中/晚融合有限,依赖摄像头数据质量
LiDAR-4D 雷达雷达天气鲁棒性强,提供速度信息数据模态差异大(稀疏 vs 稠密),融合策略复杂,计算量L4DR, M2Fusion, InterFusion, 3D-LRF, MDD早/中/深度特征融合显著提升(如 L4DR 在雾天提升 mAP 达 20%)
LiDAR-IMU提供高频运动信息,用于运动补偿和 SLAMIMU 存在漂移,需要与其他传感器(LiDAR/GPS)融合校正EKF/KF 融合紧耦合/松耦合提高定位精度和点云质量(去畸变)

对现有 LiDAR 点云处理技术的分析揭示了若干关键的权衡:

  • 准确性 vs. 速度: 更复杂的滤波算法(如基于学习的方法、部分动态阈值方法)通常能达到更高的去噪准确率和特征保留能力,但计算成本也更高,可能难以满足自动驾驶等应用的实时性要求。简单的传统方法(如 SOR, ROR)速度快,但效果有限。
  • 精确率 vs. 召回率: 在滤波任务中,提高精确率(减少误报,即保留更多真实物体点)往往以牺牲召回率(增加漏报,即未能去除所有噪声点)为代价,反之亦然。例如,AGDOR 具有高精确率但召回率相对较低,而 DROR 召回率高但精确率稍低。最佳平衡点取决于下游任务对这两种误差的容忍度。
  • 传统方法 vs. 学习方法: 传统方法基于明确的几何或统计规则,通常可解释性强,对数据量要求低,但对复杂或未预见噪声模式的处理能力有限。学习方法能够从数据中学习复杂模式,潜力巨大,但需要大量标注数据,存在泛化性问题,且模型通常是“黑箱”46。
  • 滤波 vs. 融合: 滤波旨在“修复”单一传感器的数据,去除噪声。融合则是通过结合多个传感器的信息来弥补单一传感器的不足(如信号丢失、完全失效)。滤波是融合的基础,但当 LiDAR 信号本身严重衰减或丢失时,融合(尤其是与雷达等全天候传感器融合)成为保障系统鲁棒性的必要手段。

不同技术对特定天气条件的适用性也不同。例如,基于强度的方法对雪或尘埃可能更有效,多帧时序方法也对雪这类瞬态噪声有优势,而雷达融合则对穿透浓雾或大雨至关重要。

尽管研究取得了显著进展,但 LiDAR 在恶劣天气下的可靠应用仍面临诸多挑战:

  • 缺乏标准化基准: 现有研究常使用不同的数据集(真实采集 vs. 仿真生成、不同传感器型号、有限的恶劣天气场景)、不同的评估指标和不同的天气条件量化方法,这使得在不同研究之间公平地比较算法性能变得非常困难。迫切需要包含多样化、精细标注、真实世界恶劣天气场景的大规模公开数据集。
  • 实时性能: 许多先进的滤波或融合算法,特别是基于深度学习的复杂模型,其计算复杂度可能无法满足自动驾驶系统严格的实时处理要求(通常需要在几十毫秒内完成)。
  • 领域泛化能力: 在特定数据集(尤其是仿真数据)上训练的模型,可能难以很好地泛化到不同的传感器、不同的地理环境或未曾见过的天气变化模式。如何弥合仿真与现实(sim-to-real)、实验室与实际道路(lab-to-real)之间的差距是一个核心难题。
  • 极端与复合条件: 当前研究大多关注单一类型的恶劣天气(如中雨、小雪、轻雾)。对于极端天气(如暴雨、暴雪、浓雾)以及多种恶劣条件同时出现(如雨夹雪、雾霾天)的情况下的 LiDAR 性能和处理方法研究相对不足。
  • 表面附着物影响: 除了大气影响,传感器表面附着物(雨水、泥浆、冰雪)的干扰也是一个实际问题。目前除了基本的滤波处理外,更鲁棒的解决方案(如新型疏水/自清洁涂层、主动清洁系统)仍在发展中。
  • 标定鲁棒性: 保持多传感器系统(尤其是外参)标定精度在长期运行中(经受振动、温度变化)的稳定性,以及开发更可靠、便捷的在线标定或标定自检方法,仍然是一个挑战。

针对上述挑战,未来研究可以关注以下几个有前景的方向:

  • 实时自适应方法: 开发能够根据实时检测到的天气类型和严重程度,动态调整滤波策略和融合权重的算法。这需要可靠的天气分类模块作为前端。
  • 鲁棒高效的学习模型: 研究轻量化的深度学习架构,在保持高精度的同时降低计算复杂度,使其适用于嵌入式系统。探索更有效的数据增强、领域自适应、迁移学习、半监督或自监督学习方法,以减少对大规模恶劣天气标注数据的依赖。
  • 物理信息引导的机器学习: 将关于激光与大气相互作用的物理模型知识融入机器学习框架中,有望提高模型的泛化能力、数据效率和可解释性。
  • 端到端感知优化: 探索直接面向最终感知任务(如目标检测、跟踪)进行优化的端到端学习方法,让网络自行学习最优的特征提取和噪声处理方式,而不是分阶段进行滤波和检测。
  • 新型传感器设计: 持续研发在硬件层面就具有更强环境鲁棒性的 LiDAR 技术,例如探索更优的激光波长、采用 FMCW 调制技术、改进接收器设计和信号处理算法等。
  • 高保真度仿真: 开发更逼真、经过充分验证的恶劣天气仿真模型,能够准确模拟各种天气现象(包括雨、雪、雾、尘)及其对 LiDAR 信号的复杂影响,包括散射、吸收、多径、附着、飞溅等效应。
  • 在线标定与传感器健康监测: 研究能够在线监测传感器标定状态并在必要时进行自动校准的技术,以及能够实时评估传感器性能退化程度并调整系统策略的健康监测方法。

未来的突破很可能来自于硬件和软件的协同发展。单纯依靠软件算法来弥补硬件在恶劣环境下的固有局限性效率不高。传感器设计(包括光学、电子和材料科学)的进步,与更智能、更自适应的滤波、融合算法相结合,将是推动 LiDAR 在全天候条件下可靠应用的关键。最终目标正在从仅仅追求“干净”的点云,转向实现系统层面的鲁棒感知,即无论天气如何,整个感知系统(包括滤波、融合、检测、标定等所有环节)都能协同工作,提供可靠的环境理解,保障自主系统的安全运行。

LiDAR 作为实现高精度三维环境感知的核心传感器,在自主系统中扮演着不可替代的角色。然而,其在雨、雾、雪、尘霾等恶劣天气及强光干扰下的性能退化问题,是制约自主系统全天候运行能力的关键瓶颈。这些不利条件会导致点云中出现噪声、虚警、量程衰减、强度失真、点云粘连等多种伪影,严重影响感知系统的可靠性和安全性。

为了应对这些挑战,研究界已经探索并发展了多种缓解策略。点云滤波作为直接处理数据的方法,涵盖了从基于统计和邻域的传统方法(如 SOR, ROR 及其动态变种 DROR, DSOR),到利用强度信息的特定条件滤波器(如 LIOR, DDIOR, AGDOR),再到基于投影(如 AORI)和深度学习的先进技术,以及利用时序信息的多帧方法。这些方法各有优劣,在准确性、速度、鲁棒性和特征保留能力之间存在不同的权衡。

当滤波不足以应对严重的数据退化时,多传感器融合成为关键。通过结合 LiDAR 与摄像头(提供语义)、雷达(特别是全天候的 4D 雷达,提供速度和穿透性)或 IMU(提供运动信息)的优势,可以显著提高感知的鲁棒性。其中,LiDAR-4D 雷达融合因其直接解决 LiDAR 天气敏感性短板的潜力而成为当前研究的热点。然而,有效的融合依赖于精确的外参标定和高质量的输入数据(需要运动畸变补偿)。

对于像 这样的高性能 LiDAR 系统,其独特的数字架构、大孔径、内置 IMU、双回波等特性为应对恶劣环境提供了一定的硬件基础和额外的处理途径。但实践表明,即使有这些硬件优势,仍然需要结合先进的滤波和融合软件算法才能在复杂的真实世界条件下取得最佳性能。

尽管现有技术已取得长足进步,但实现 LiDAR 在所有天气条件下的可靠运行仍面临挑战,尤其是在标准化基准缺乏、实时计算约束、模型泛化能力、极端天气应对以及传感器表面污染等方面。未来的研究需要在算法创新(特别是自适应和学习方法)、传感器硬件发展、高保真仿真以及鲁棒验证方法学上继续突破,推动软硬件协同发展,最终实现真正全天候、安全可靠的自主系统。