Skip to content

时空滤波与多模态噪声指纹

1.1 激光雷达与毫米波雷达在自主感知中的关键作用

Section titled “1.1 激光雷达与毫米波雷达在自主感知中的关键作用”

自主系统的环境感知能力是实现安全、可靠运行的核心。在众多传感器中,激光雷达(LiDAR)和毫米波雷达,特别是新兴的 4D 毫米波雷达,扮演着不可或缺的角色。LiDAR 通过发射激光束并测量反射信号的回波时间,能够生成高分辨率的三维点云数据,这对于精确的环境地图构建、高精度定位以及目标检测至关重要。其提供的精确几何信息是理解复杂场景结构的基础。

另一方面,毫米波雷达,尤其是能够提供距离、方位角、俯仰角和多普勒速度信息的 4D 雷达,在恶劣天气条件(如雨、雪、雾)下展现出优异的鲁棒性。毫米波信号能够穿透雨滴、雪花和雾气颗粒,同时还能直接测量目标的相对速度,并具备更远的探测距离。

然而,单一传感器固有的局限性促使研究人员探索多传感器融合的策略。LiDAR 虽然精度高,但在恶劣天气下性能会显著下降;雷达虽然全天候性好,但分辨率相对较低,且点云稀疏。将 LiDAR 和雷达进行融合,旨在结合两者的优势,克服各自的短板,从而提升感知系统的整体性能和可靠性,尤其是在复杂和动态的环境中。这种融合的必要性源于对高精度空间感知(LiDAR 的优势)和全天候可靠性(雷达的优势)的同时追求。然而,这种融合并非简单的信息叠加,由于两种传感器在数据特性、噪声分布以及在不同环境下的退化程度上存在显著差异,融合过程本身也带来了新的挑战。

尽管 LiDAR 和雷达功能强大,但其采集的数据不可避免地会受到各种来源的噪声和伪影的干扰,这对感知任务的准确性和可靠性构成了严峻挑战。

恶劣天气是导致传感器性能下降的主要原因之一。雨、雾、雪、尘埃等天气现象会引起激光束或毫米波信号的散射、吸收和衰减,导致探测距离缩短、点云密度降低、虚假目标(鬼影点)增多以及目标信号强度减弱。例如,雨滴可能导致 LiDAR 信号偏转、丢失点云以及反射率降低,而浓雾或大雪则可能形成密集的噪声团,甚至被误判为障碍物。

除了天气因素,传感器自身或与环境交互也会产生特定的伪影。例如,雨滴或污渍附着在传感器外罩上(黏连/涂抹效应)会阻挡或偏折光束,导致数据缺失和反射率下降。高反射率物体(如路标、车牌、潮湿路面)或逆反射材料可能导致“光晕”(blooming)效应,使得目标点云看起来比实际更大,或者产生“鬼影”(ghosting)点,即在错误位置出现目标的虚假拷贝。强烈的阳光直射或反射也是室外 LiDAR 的主要干扰源,可能导致传感器饱和(致盲)或产生大量噪声点。此外,环境中存在多个 LiDAR 同时工作时,它们之间可能产生串扰,导致信号混淆和噪声。雷达同样会受到多径效应等因素的影响,产生杂波和虚假目标。

这些噪声和伪影的多样性表明,噪声并非简单的随机扰动,其产生机制和表现形式与特定的物理现象(如散射、吸收、反射、传感器缺陷、电磁干扰)紧密相关。这意味着不同类型的噪声往往具有独特的、可测量的特征,例如特定的强度分布、空间密度模式、速度特征(对于 4D 雷达)以及对传感器与环境相对几何关系的依赖性。这种噪声特征的异质性为开发更精细化的滤波方法提供了基础。

为了应对噪声问题,研究人员开发了多种点云滤波算法。传统方法主要基于统计学或几何学原理。例如,统计离群点移除(Statistical Outlier Removal, SOR)通过分析点的邻域距离分布来剔除距离均值过远的点。半径离群点移除(Radius Outlier Removal, ROR)则移除邻域内点数量低于阈值的点。

然而,这些传统方法在处理复杂噪声时存在局限性。它们通常难以有效处理密集噪声(如大雪、浓雾或反射产生的噪声团),因为这些噪声簇在局部密度上可能与真实物体相似。此外,为了去除噪声,这些滤波器往往会过度平滑,移除点云中的有效数据点,尤其是精细的几何特征(如边缘、角点)或距离较远的点。另一个关键问题是,许多传统滤波器依赖固定的参数(如邻域大小、距离阈值、标准差倍数),这些参数难以适应动态变化的噪声类型和密度。因此,单一的、静态的滤波策略难以在所有场景下都取得理想效果,尤其是在面对多样化且动态变化的噪声源时。

针对传统方法的不足,本报告旨在阐述一种更先进的滤波概念。该概念的核心思想是:噪声源并非总是产生无规律的干扰,而是常常在特定的几何条件下(如相对距离、角度)表现出独特的、暂态的“指纹”特征 [User Query]。这些指纹可以体现在点云的多个维度上,例如特定的强度或反射率值、特定的空间密度分布(稀疏、聚集、悬空)、特定的速度特征(由 4D 雷达测量),或者特定的空间结构。

基于这一核心思想,我们提出假设:通过利用这些时空和多模态的噪声指纹特性,结合滚动估计/滤波(类似于 Structure from Motion 的思想,利用时间连续性)、多模态传感器融合(结合 LiDAR 和 4D 雷达等)、局域增强技术以及先验约束(如环境几何先验、物体运动学先验),可以实现比传统方法更有效、更具辨识力的噪声滤波 [User Query]。这种方法旨在精确识别并去除噪声,同时最大限度地保留有效的目标和环境信息。

本报告将围绕上述先进滤波概念展开,结构安排如下:

2. LiDAR/雷达噪声“指纹”特征分析

Section titled “2. LiDAR/雷达噪声“指纹”特征分析”

理解噪声滤波的关键在于认识到噪声并非均匀分布或具有单一特性 [User Query]。不同来源的噪声在 LiDAR 和雷达数据中会留下独特的印记或“指纹”。这些指纹体现在点云的多个属性维度上,并且其表现形式往往与传感器和环境的交互方式密切相关。识别和利用这些指纹是实现高级滤波策略的基础。

恶劣天气是影响室外传感器性能最常见的因素之一,不同天气现象产生的噪声具有不同的特征。

  • 物理效应: 雨滴对激光束和毫米波信号会产生散射、吸收和衰减效应。激光雷达的可见性范围会降低。
  • 点云特征: 可能导致探测距离缩短、点云数量减少、信号强度减弱。雨滴本身可能被探测到,形成噪声点或噪声簇。地面反射(尤其是在湿滑路面)可能产生额外的鬼影点。大雨可能导致点云形成聚集的块状,易被误识别为障碍物。
  • 黏连效应: 雨滴附着在传感器外罩上是另一个重要影响因素。附着的雨滴会阻挡或偏折激光束,导致点云数据缺失和反射率降低。这种效应与外罩材料的疏水性密切相关:亲水表面雨滴铺展,影响时间可能更长;疏水表面形成半球形水滴,可能导致更严重的信号偏折和内部全反射;超疏水表面则能使雨滴弹开,影响最小。
  • 滤波策略: 多回波 LiDAR 技术可以通过接收最后一次回波来穿透部分雨滴,滤除部分噪声。部分大光圈、快速曝光设计的 LiDAR 能进一步减少雨水影响。基于强度和距离的动态滤波(如 DDIOR)或基于图像的方法(如 AORI)也被用于处理雨雪噪声。雨水模拟也被用于生成训练数据。
  • 物理效应: 雾滴或霾颗粒主要通过散射和吸收来衰减激光和毫米波信号。雾的密度越大,衰减越严重,探测距离越短。
  • 点云特征: 导致点云数量减少、信号强度降低、探测距离缩短。雾气颗粒本身可能被探测到,形成大量噪声点,有时会聚集形成“伪目标”或“噪声墙”,严重干扰目标检测。
  • 滤波策略: 4D 雷达因其波长特性,在雾天表现出更好的鲁棒性,因此 LiDAR-Radar 融合是应对雾天挑战的重要策略。基于深度学习的去雾/去噪方法(如 CNN,TripleMixer)也被广泛研究。雾天模拟对于生成训练和测试数据至关重要。对抗性雾攻击利用了滤波器的弱点来隐藏目标。
  • 物理效应: 雪花同样会对激光束产生散射、吸收和衰减。
  • 点云特征: 导致探测距离缩短、点云数量减少、产生大量噪声点。雪花噪声点通常具有较低的反射强度,但近距离的雪花反向散射可能很强。雪花噪声点在空间上可能呈现稀疏分布,但也可能在大雪天气下形成密集的团簇,难以与真实物体区分。在物体附近滤除雪花噪声尤其困难。
  • 滤波策略: 针对雪花噪声的特点,开发了多种专用滤波器。LIOR 利用低强度特性,AGDOR 结合强度和自适应密度,DDIOR 结合动态距离和强度,DSOR 和 DROR 使用动态阈值,AORI 基于距离像进行滤波。基于多帧连续点云的方法也被提出,利用时间一致性来区分有序物体和无序雪花。
  • 物理效应与点云特征: 主要出现在矿山、建筑工地等特定环境,扬起的尘埃会散射和吸收激光,产生噪声点,降低能见度。尘埃噪声可能密集,难以与环境区分。
  • 滤波策略: 公司使用 LiDAR 结合其自研的深度学习(深度学习)算法和 range-segmentation 算法来滤除矿区扬尘并处理水坑(反射)问题。 借助其大光圈和高防护等级有助于抵抗尘埃影响。LIOR 算法也被应用于除尘场景。基于激光反射强度和空间结构的量化分析方法也被提出用于滤除尘埃。

除了天气,传感器自身特性或与特定环境交互也会产生噪声和伪影。

  • 物理效应与点云特征: 主要由雨滴或污渍附着在传感器外罩引起。导致激光束被阻挡或偏折,产生点云缺失和反射率降低。
  • 指纹特征: 影响程度与外罩材料的疏水性(影响水滴形状和接触角)密切相关。超疏水表面表现最好。噪声表现为局部区域的数据缺失或信号弱化。
  • 物理效应与点云特征: 由高反射率物体(逆反射器、路牌、车牌、潮湿路面、水坑)引起。光晕表现为目标点云轮廓向外扩张,强度可能较低。鬼影则是在场景中错误的位置生成目标的虚假拷贝。水坑会导致镜面反射,在点云中形成空白区域。
  • 指纹特征: 噪声点通常与高反射率目标相关,可能具有特定的形状(扩张或复制)和强度特征。其出现与传感器和高反射物体的相对姿态有关。FMCW LiDAR 声称对此类效应免疫, 声称有缓解措施。
  • 物理效应与点云特征: 强烈的太阳光(尤其是直射或来自低角度反射)包含与 LiDAR 工作波长相近的成分,会淹没微弱的回波信号,导致探测器饱和或产生大量噪声点。噪声点可能随机分布在视场中。
  • 指纹特征: 噪声与阳光照射方向和强度相关。噪声点可能具有不同于目标回波的强度或分布特性。
  • 滤波策略: 采用窄带光学滤波器可以滤除带外阳光。特殊波长(如 SWIR)或特殊调制方式(如 FMCW,随机脉冲时间,OAM LiDAR)可以提高抗干扰能力。部分厂商通过专利微光路设计与 TCSPC 动态差分技术实现环境光抑制,也有厂商采用专用信号处理与光学设计来区分信号与环境光。
  • 物理效应与点云特征: 当多个同类型传感器(尤其是 LiDAR)在同一区域工作时,一个传感器可能接收到其他传感器发出的脉冲,并将其误认为是自身的回波,从而产生噪声点或鬼影。雷达也可能存在干扰问题。
  • 指纹特征: 噪声点的位置和强度可能与干扰源传感器的位置和发射模式有关。
  • 滤波策略: 随机化脉冲发射时间或编码可以降低串扰概率。

通过上述分析,可以将不同噪声源产生的“指纹”特征归纳如下:

  • 强度/反射率:

  • 特征: 噪声点往往具有特定的强度分布。例如,雪花通常强度较低,而反射产生的噪声点强度变化可能较大。强度值受天气、物体材质、距离等多种因素影响。

  • 应用: 可用于基于阈值的滤波(如 LIOR、DDIOR、AGDOR)或更复杂的基于强度的分析。强度信息也可用于其他任务,如车道线检测。

  • 密度/空间结构:

  • 特征: 噪声点的空间分布模式各异。可以是稀疏的离群点(如统计噪声),也可以是密集的团簇(如浓雾、大雪、反射伪影)。噪声点可能悬空或呈现特定结构。

  • 应用: 基于密度的滤波器(SOR, ROR, DROR, DSOR, AGDOR, AORI, DBSCAN)利用了这一特征。分析噪声点的空间分布(随机、聚集)有助于识别。

  • 速度(主要来自 4D 雷达):

  • 特征: 4D 雷达可直接测量目标点的多普勒速度。噪声点(如静止杂波、天气颗粒)可能具有与真实移动目标不同的速度特征(例如,零速度或与风速相关的速度)。

  • 应用: 速度信息是区分移动目标和静止杂波的关键,也可用于识别具有异常速度特征的噪声点。

  • 几何依赖性(距离/角度):

  • 特征: 噪声的特性(如密度、强度)常常随距离变化。LiDAR 点云密度本身就具有“近密远疏”的特点。某些噪声(如反射、干扰)的出现与传感器和目标的相对角度、距离有关。

  • 应用: 催生了基于动态阈值的自适应滤波器(DROR, DSOR, AGDOR, AORI, DDIOR),这些滤波器根据距离调整滤波参数。几何关系可作为滤波的重要上下文信息。

  • 暂态性:

  • 特征: 许多噪声源并非持续存在,而是间歇性或暂态性出现,与特定条件(天气变化、特定相对姿态、干扰源出现)相关。

  • 应用: 噪声的暂态性是利用时间信息进行滤波的关键动机。滤波器需要能够识别噪声何时出现并自适应地调整其行为,这支持了后续将讨论的时间滤波和自适应融合策略。

综上所述,对不同噪声源及其产生的“指纹”特征进行深入理解和表征,是设计能够区分复杂噪声和真实信号的先进滤波算法的前提。这些特征,特别是它们的几何依赖性和暂态性,为结合时间信息和多模态数据提供了理论基础。

3. 利用时间一致性与运动线索进行噪声抑制

Section titled “3. 利用时间一致性与运动线索进行噪声抑制”

LiDAR 和雷达传感器通常以一定的频率连续扫描环境,产生一系列按时间排序的点云数据。这个时间维度蕴含着区分真实物体和噪声的重要信息。真实世界中的物体,无论是静态的还是动态的,其存在和运动通常在时间上具有连续性和一致性。相比之下,许多类型的噪声(如天气颗粒、传感器瞬时干扰)在时间序列中表现出更强的随机性、暂态性或与物理运动规律不符的特性。利用这种时间上的差异性,可以设计出更有效的噪声抑制策略。

3.2 滚动估计/滤波(类 SfM 概念)

Section titled “3.2 滚动估计/滤波(类 SfM 概念)”

结构光三维重建(Structure from Motion, SfM)技术的核心思想是通过分析同一场景在不同视点(或不同时间点)下的图像,利用几何一致性约束来同时估计相机(或传感器)的运动和场景的三维结构。在此过程中,与多视图几何约束不一致的测量值(通常是噪声或错误匹配)会被有效地滤除。

类似地,可以将这种思想应用于时序点云数据。通过跟踪点云中的特征点或体素块随时间的变化,并结合估计出的传感器自身运动(自运动),可以建立点云序列的几何一致性模型。

  • 几何一致性检验: 属于真实静态物体的点,在经过自运动补偿后,其在世界坐标系中的位置应保持稳定。属于真实动态物体的点,其运动轨迹应符合物理规律(如平滑性、连续性)。而噪声点,尤其是那些随机出现的噪声(如天气颗粒),则很难在连续帧之间保持这种几何一致性。
  • 多帧信息融合去噪: 一些研究已经开始利用多帧信息来增强点云处理的鲁棒性。例如,有研究提出使用连续三帧点云,通过加权融合来强化“有序”的静态物体点,同时削弱“无序”的雪花噪声点。SuperFlow++框架通过在连续 LiDAR 扫描帧之间强制执行时间一致性来学习表示。LET-VIC 框架则在车辆-基础设施协同感知中集成了时间信息以改善跟踪性能。这些方法虽然不一定直接套用 SfM 的完整流程,但其核心都是利用了多帧数据间的关联性和一致性来区分信号与噪声。

分析点云序列中的运动信息是识别和滤除噪声的另一条重要途径。

  • 自运动补偿: 这是进行运动分析的前提。由于传感器(通常安装在移动平台上)在扫描过程中自身也在运动,会导致点云内部产生畸变。必须首先精确估计传感器的自运动(通常借助 LiDAR-IMU 融合技术),并对点云进行畸变校正(运动补偿),才能得到在统一时间基准下的场景快照,进而分析场景中物体的真实运动或噪声点的异常运动。

  • 场景流/点速度估计: 通过比较连续帧之间的点云,可以估计每个点或点簇的运动矢量(速度),即场景流。真实物体的运动通常是平滑且符合物理规律的,而噪声点可能表现出杂乱无章、速度突变或物理上不可能的运动模式。4D 雷达提供的多普勒速度信息为直接获取点级别运动提供了便利。例如,CRT-Fusion(雷达-相机融合)框架中包含一个运动特征估计器(MFE)用于预测像素级速度。

  • 跟踪滤波器(卡尔曼/粒子滤波器):

这类滤波器是多目标跟踪(MOT)任务的核心,也可用于基于运动一致性的噪声抑制。

  • 工作原理: 滤波器包含预测和更新两个步骤。预测步根据目标的运动模型(如匀速、匀速转弯、匀加速)预测目标在下一时刻的状态(位置、速度等)。更新步则利用当前时刻的传感器测量值来修正预测状态。

  • 噪声抑制机制(关联门/数据关联):

滤波器的核心优势在于其处理不确定性的能力。通过比较预测状态和实际测量值之间的差异(称为新息,innovation),并考虑预测和测量的不确定性(协方差),可以判断测量值是否与预测状态一致。

  • 关联门(Gating): 在预测的测量值周围定义一个统计学上的有效区域(通常是基于新息协方差的椭球)。落在此区域之外的测量值被认为与预测状态不一致,很可能是噪声、杂波或错误的关联,因此被拒绝,不用于更新滤波器状态。
  • 归一化新息平方(Normalized Innovation Squared, NIS): NIS 是一个标量值,表示测量值与预测值之间的马氏距离的平方,它衡量了新息相对于其协方差的大小。在模型假设正确的情况下,NIS 服从卡方分布。因此,可以设定一个基于卡方分布的阈值,将 NIS 值过大的测量值视为离群点(可能是噪声)并加以剔除。NIS 不仅用于剔除离群测量,还可用于在线监测滤波器的性能和一致性,甚至用于自适应调整滤波器参数。例如,UKF-MOT 算法使用马氏距离(与 NIS 相关)结合卡方阈值进行数据关联。EKF 跟踪示例也使用了马氏距离和卡方检验进行门控。
  • 航迹管理与评分: 为每个被跟踪的目标(航迹)维护一个评分。成功关联到测量值则增加评分,未能关联则降低评分。评分过低或长时间未更新的航迹可能被删除。这种机制有助于滤除由瞬时噪声引发的虚假航迹。

实现上述时间滤波策略,可以借助一些现有的库和代码资源。

  • 卡尔曼滤波器: 存在多种 C++和 Python 实现,常依赖于线性代数库如 Eigen。FilterPy 是一个流行的 Python 库。GTSAM 库提供了基于优化的状态估计方法,可用于传感器融合。ROS 社区中有许多用于目标跟踪和传感器融合的包。一些公开的 GitHub 仓库提供了 EKF/UKF 在传感器融合(包括 LiDAR/Radar)中的应用示例。
  • 通用点云库: 虽然像 PCL 和 PDAL 这类库主要侧重于单帧点云处理,但它们提供的基础功能(如点云数据结构、空间索引、几何计算)可以作为实现自定义时间滤波逻辑的基础。一些特定研究项目的代码库可能包含时间滤波相关的组件。例如,py4dgeo 库专注于 4D 点云(即时序点云)的变化分析。

时间一致性为区分信号和噪声提供了强有力的约束。真实物体通常表现出持续存在和可预测的运动模式,而许多噪声类型则具有暂态性或物理上不一致的运动行为。有效利用时间信息需要精确的自运动补偿作为基础。然而,时间滤波的有效性与运动建模的准确性和数据关联的可靠性密切相关。不准确的模型或错误的关联可能导致滤波错误。此外,对于那些与真实物体在空间上相关或运动模式相似的噪声(例如,随风移动的浓雾、随自车运动的反射),单纯的时间滤波可能效果有限。这凸显了将时间滤波与其他线索(如强度、多模态数据)相结合的必要性。

单一类型的传感器在面对复杂多变的真实世界环境时,往往存在固有的局限性。

  • 传感器局限性: LiDAR 虽然能提供高精度的三维空间信息,但在雨、雪、雾等恶劣天气下性能会急剧下降。相机能够提供丰富的颜色、纹理和语义信息,但对光照变化敏感,且在恶劣天气下同样性能受限。毫米波雷达(特别是 4D 雷达)具有全天候工作能力和测速能力,但其空间分辨率较低,点云稀疏,难以精确描述物体形状。
  • 优势互补: 传感器融合的核心目的在于利用不同传感器的互补优势,以实现比单一传感器更鲁棒、更准确的环境感知。例如,在恶劣天气下,雷达的鲁棒性可以弥补 LiDAR 和相机的不足,提供可靠的目标存在性检测和速度信息。反过来,LiDAR 的高分辨率几何信息可以帮助改善雷达目标定位和分类的精度。相机提供的丰富语义信息则有助于理解场景内容。
  • 目标: 通过融合,旨在提高感知系统在各种条件下的整体性能,特别是增强在恶劣天气下的噪声抑制能力和目标检测的可靠性。

LiDAR 与雷达(尤其是 4D 雷达)的融合是当前研究的热点,旨在结合 LiDAR 的精度和雷达的全天候性。

  • 挑战: 主要挑战在于两种传感器数据在质量、密度、噪声特性以及恶劣天气下的退化程度上存在巨大差异。例如,LiDAR 点云密集但易受天气影响,雷达点云稀疏但鲁棒。此外,精确的传感器外参标定是有效融合的前提。

  • 早期融合(数据级):

在特征提取之前,直接融合原始或预处理后的点云数据。

  • L4DR 探索了这种策略,其**多模态编码(MME)模块旨在早期融合 LiDAR 和 4D 雷达数据,而前景感知去噪(FAD)**模块则试图在融合前改善各自模态的数据质量,以弥合传感器间的差距。

  • V2X-R 框架也支持早期融合策略。 这种策略的潜在优势是可能利用原始数据间的低层相关性,但可能对标定误差和噪声放大更敏感。

  • 中层融合(特征级):

分别从各传感器数据中提取特征,然后在特征层进行融合。这是目前研究较多的策略。

  • L4DR 的第二阶段采用**模态间与模态内({IM}2)骨干网络和多尺度门控融合(MSGF)**模块,在特征提取过程中持续进行融合,并根据条件自适应地侧重于更可靠的模态特征,以应对不同天气下传感器退化程度的变化。

  • M2Fusion 提出了基于交互的多模态融合(IMMF),利用自注意力机制学习各模态特征并交换中间层信息;同时提出**基于中心点的多尺度融合(CMSF)**来处理不同分辨率的需求。其代码已公开。

  • RaLiBEV 在鸟瞰图(BEV)视角下融合 LiDAR 柱(pillar)特征和雷达热力图特征,采用交互式 Transformer 模块进行融合,并使用无锚框(anchor-free)的检测头。其代码已公开。

  • V2X-R 框架 中的**多模态去噪扩散(MDD)**模块是一种特殊的特征级融合,它利用鲁棒的雷达特征作为条件,引导扩散模型对带噪的 LiDAR 特征进行去噪。其代码和数据集已公开。

  • 3D-LRF 在 3D 空间中融合 LiDAR 和 4D 雷达特征,考虑了传感器特性,并设计了**天气条件雷达流门控网络(WRGNet)**来根据天气调节融合过程。其代码可能与 K-Radar 仓库相关。

  • InterFusion 采用基于交互的融合策略。 特征级融合试图在保留一定模块性的同时,融合更丰富的语义和几何信息。

  • 晚期融合(检测/航迹级):

各传感器独立完成目标检测或跟踪,最后融合检测结果或航迹信息。

  • MVDNet 采用此策略,先分别从 LiDAR 和 3D 雷达生成候选区域(proposals),然后在第二阶段对候选区域内的特征使用注意力机制进行融合,并结合 3D 卷积进行时间融合。
  • 基于**卡尔曼滤波器(EKF/UKF)**的多目标跟踪系统通常采用晚期融合,将来自不同传感器的测量值(如位置、速度)融合到滤波器的更新步骤中。 晚期融合模块化程度高,对单个传感器故障更鲁棒,但可能丢失传感器间的低层相关性。

这种融合方式历史悠久,旨在结合 LiDAR 的精确深度/几何信息和相机丰富的语义/纹理信息。

  • 挑战: 主要挑战在于精确的传感器外参标定,以及两种传感器在恶劣天气下都可能性能下降的问题。
  • 实现: 像 OpenPCDet 这样的框架支持 LiDAR-相机多模态目标检测。存在多个开源的标定工具和融合示例

这种融合主要用于估计传感器的自运动(姿态和位置),并对 LiDAR 扫描过程中的运动畸变进行补偿。

  • 重要性: 精确的自运动估计和畸变矫正是进行可靠的时间序列分析(如运动跟踪、时间滤波)和地图构建的前提。
  • 实现: 常用的方法包括基于卡尔曼滤波器(EKF/UKF)的紧耦合或松耦合 或基于优化的方法(如滑动窗口优化)。已有开源代码实现。一些 LiDAR 内置了 IMU 并提供了预标定参数。

多模态融合策略的选择(早期、中期、晚期)反映了在利用原始数据相关性、鲁棒性、模块化和计算效率之间的权衡。特别是对于 LiDAR 和雷达这两种特性差异显著的传感器,如何在融合中有效处理它们在不同天气条件下变化的可靠性,是一个核心挑战。当前的趋势是发展自适应融合机制,能够根据环境条件或传感器数据质量动态调整融合策略或各模态的权重。4D 雷达的出现正推动融合研究从传统的 LiDAR-相机组合转向 LiDAR-4D 雷达,以追求更好的全天候感知能力。

为了实现对复杂噪声模式的精确滤除并同时保留重要的场景细节,需要超越传统的基于单一阈值或密度检查的滤波方法,集成更先进的技术。

基础滤波方法(如简单的 SOR、ROR、直通滤波)虽然计算简单,但在处理具有特定结构或与真实物体特征相似的噪声(如密集天气噪声、反射伪影)时效果有限,且容易丢失细节。因此,需要引入更精细化的处理手段。

这类技术旨在改善点云局部区域的质量,或在滤波过程中显式地保护重要的几何特征(如边缘、角点)。

  • 双边滤波(Bilateral Filter): 借鉴图像处理思想,双边滤波器在计算滤波权重时同时考虑了点的空间邻近度和特征相似度(如法线方向、颜色或强度)。这使得它能够在平滑噪声的同时较好地保持边缘等细节。PCL 和 Open3D 都提供了双边滤波器的实现。
  • 网格平滑(Mesh Smoothing): 对于有组织点云(可以隐式表示为网格),可以应用拉普拉斯网格平滑或双边网格法线平滑等技术来平滑表面噪声。这些方法旨在降低表面粗糙度,同时可能通过调整权重或迭代次数来控制对特征的保持程度。已有包含 C++/CUDA/Python 实现的开源库。
  • 学习型特征保持滤波: 基于深度学习的方法,如 Pointfilter 和 PointCleanNet,通过神经网络学习从噪声点云恢复干净点云的映射,其目标函数通常包含保持几何细节(如锐利特征)的约束。这些方法能够学习复杂的噪声模式和表面结构。Pointfilter 的代码已公开。
  • 图滤波(Graph-based Filtering): 将点云构建成图结构,利用图信号处理技术进行滤波。图结构可以显式地编码点之间的邻接关系和几何结构,有助于设计保持结构的滤波器。
  • 局部几何特征分析: 计算点的局部几何特征,如线性度、平面度、曲率、法线等,可以帮助理解局部表面形状。这些特征可以用于区分噪声点(通常缺乏明确的几何结构)和位于平滑表面或特征边缘上的点,从而指导滤波过程。已有计算这些特征的开源库。

特征保持已成为评估滤波算法的关键指标。仅仅去除噪声点是不够的,更重要的是在去噪的同时保留场景的真实几何细节,这对于后续的感知任务至关重要。

利用关于环境、物体或传感器特性的先验知识来指导滤波过程,可以显著提高滤波的准确性和鲁棒性。

  • 几何先验: 利用场景中普遍存在的几何规律。例如,地面通常是平坦的,可以利用这个先验来分割地面点或滤除远离地面的噪声点。建筑物表面通常是平面的或由规则几何体构成。已知物体的形状或尺寸也可以作为约束。
  • 语义先验: 结合语义分割结果,根据点的语义类别(如道路、车辆、行人、植被、天空、或特定类型的噪声如雨/雾)应用不同的滤波策略。例如,可以对被识别为“雪花”或“雨滴”的点应用更强的滤波,而对被识别为“车辆”或“行人”的点采取更保守的策略以保留细节。SunnyNet 利用语义分割结果来滤除雨雾噪声。L4DR 框架中的 FAD 模块利用了前景信息(语义的一种)来进行去噪。
  • 传感器模型先验: 利用对传感器工作原理和噪声特性的了解。例如,知道 LiDAR 点云密度随距离衰减的特性,可以用于设计自适应滤波半径或阈值(如 DROR, DSOR, AGDOR, AORI, DDIOR)。了解特定天气条件下噪声的典型强度分布(如雪花强度较低)可以帮助设定强度滤波阈值。AGDOR 和 AORI 算法利用了 LiDAR 的角分辨率信息来计算自适应搜索半径。

将领域知识(先验)和上下文信息(语义、几何、传感器特性)集成到滤波算法中,是超越纯粹基于统计或密度方法的关键,能够实现更智能、更有效的噪声去除。

由于噪声来源和特性复杂多样,单一的滤波方法往往难以应对所有情况。因此,组合多种滤波技术(混合策略)成为一种常见的有效手段。

  • 串联/并行组合: 可以将不同原理的滤波器串联或并联使用。例如,先进行基于强度的初步筛选,再进行基于密度的精细滤波(如 LIOR、AGDOR、DDIOR)。或者结合统计滤波和几何滤波。
  • 多阶段处理: 设计包含多个处理阶段的滤波流程,每个阶段针对特定的噪声特性或采用不同的滤波强度。例如,MSNR 方法就包含了像素级处理(边界效应抑制、概率滤波)和 3D 空间处理(概率扩散、概率分类、DSOR)多个阶段。
  • 集成框架: 构建一个框架,可以根据场景或检测到的噪声类型,动态选择或组合不同的滤波模块。

混合策略通过利用多种噪声特征(如强度、空间分布、概率等)并结合不同滤波器的优势,能够更全面地处理复杂噪声,实现比单一方法更鲁棒的滤波效果。相关综述也常将混合方法作为一类重要的滤波技术进行讨论。

本节将梳理与前述概念相关的关键研究论文、算法、数据集以及开源代码实现,为进一步研究和应用提供参考。

  • LiDAR-雷达融合(恶劣天气):

  • L4DR: 提出早期融合(MME, FAD)与特征融合({IM}2, MSGF)相结合的两阶段框架,旨在解决 LiDAR 与 4D 雷达的数据质量差异和不同天气下的退化程度变化问题。在 VoD(模拟雾天)和 K-Radar(真实恶劣天气)数据集上进行了验证。

  • M2Fusion: 提出基于交互的多模态融合(IMMF,使用自注意力)和基于中心点的多尺度融合(CMSF)。在 Astyx 数据集上进行了评估。

  • V2X-R 框架 & MDD: 面向车路协同(V2X)的 LiDAR-4D 雷达融合框架。其核心的 MDD 模块利用鲁棒的雷达特征引导扩散模型对带噪 LiDAR 特征进行去噪。。

  • RaLiBEV: 在 BEV 视角下融合 LiDAR 柱特征和雷达热力图,使用交互式 Transformer,采用无锚框检测头。

  • 3D-LRF: 在 3D 空间融合 LiDAR 和 4D 雷达特征,设计了 WRGNet 根据天气条件进行门控融合。代码可能在 K-Radar 仓库中。

  • InterFusion: 采用基于交互的 LiDAR-4D 雷达融合方法。

  • MVDNet: 针对雾天场景,提出 LiDAR-3D 雷达的晚期融合框架,使用注意力机制进行特征融合,并采用 3D 卷积进行时间融合。

  • LiDAR 恶劣天气滤波:

  • DDIOR: 动态距离-强度离群点移除,专为雪天设计。

  • AGDOR: 自适应密度离群点移除组,结合强度和自适应密度滤波雪花。论文描述了原理和性能,未发现公开代码。

  • AORI: 基于距离像的自适应离群点移除,用于雪天滤波。论文描述了原理和性能,未发现公开代码。

  • LIOR: 低强度离群点移除,结合强度和 ROR 滤波雪花或尘埃。可能相关的代码。

  • DSOR: 动态统计离群点移除,SOR 的改进版,用于雪天滤波。

  • DROR: 动态半径离群点移除,ROR 的改进版。代码库:Charron 版本,YevgeniyEngineer 版本。

  • TripleMixer: 基于几何、频率、通道混合器层的恶劣天气点云去噪模型。

  • MSNR: 多阶段降噪方法,结合像素级概率滤波和 3D 空间滤波。

  • 基于 CNN 的去噪: Heinzler 等人提出的方法,在距离像上使用 CNN 进行滤波。SunnyNet 是另一个基于语义分割的 CNN 滤波网络。

  • 时间/运动滤波与跟踪:

  • 卡尔曼滤波器族 (EKF/UKF): 广泛应用于多目标跟踪,通过关联门控或 NIS 值检验来隐含地抑制噪声。

  • SfM/几何一致性: 这些原理被应用于 SLAM 和时间感知任务中,以提高鲁棒性。PNE-SGAN 利用时间滤波进行回环检测。

  • CRT-Fusion: 采用运动引导的时间融合策略(雷达-相机)。

选择合适的数据集对于训练和评估滤波与融合算法至关重要。

  • 侧重恶劣天气的数据集:

  • WADS (Winter Adverse Driving dataSet): 包含中度到重度雪天下的 LiDAR 数据,并有密集的逐点标注,常用于评估雪天滤波算法。

  • CADC (Canadian Adverse Driving Conditions): 包含雪天条件下的 LiDAR 数据。

  • DENSE: 包含雨、雪、雾等多种恶劣天气下的多传感器(LiDAR, 相机, 雷达)数据。

  • Boreas: 包含雨、雪天气下的 LiDAR 数据。

  • Oxford RobotCar: 包含多种天气(雨、雪、雾)下的数据。

  • SnowKITTI: 专注于雪天场景。

  • Weather-KITTI / Weather-NuScenes: 由 TripleMixer 项目提出,基于 SemanticKITTI 和 NuScenes 生成,包含雨、雪、雾三种天气,并有逐点天气标签。

  • STF (Semantic Tremendous Fog): 用于评估雾天性能。

  • 侧重 LiDAR-雷达融合的数据集:

  • Astyx: 较早的包含 4D 雷达、LiDAR 和相机的数据集,但规模较小。

  • RADIal: 包含原始 ADC 雷达信号、点云和 LiDAR、相机数据。

  • VoD (View-of-Delft): 包含 4D 雷达、LiDAR、立体相机数据,标注了 3D 边界框,常用于评估 LiDAR-雷达融合算法。

  • TJ4DRadSet: 包含 4D 雷达、LiDAR、相机数据,标注了 3D 边界框和轨迹 ID。

  • K-Radar: 包含多种天气条件下的 4D 雷达张量数据、LiDAR、相机数据,标注丰富,是目前最全面的 4D 雷达数据集之一。

  • Dual Radar: 包含两种不同型号 4D 雷达、LiDAR 和相机数据。

  • V2X-R: 基于 CARLA 模拟器生成,包含 LiDAR、4D 雷达、相机数据,用于 V2X 协同感知研究。

  • 通用自动驾驶数据集:

  • KITTI: 经典的自动驾驶数据集,包含 LiDAR、相机数据,常用于基准测试。

  • Waymo Open Dataset: 大规模数据集,包含 LiDAR、相机数据,标注丰富。

  • NuScenes: 包含 LiDAR、相机、雷达等多种传感器数据,标注全面,广泛用于多模态感知研究。

  • 通用点云处理库:

  • PCL (Point Cloud Library): 最广泛使用的 C++点云处理库,提供了丰富的滤波算法(SOR, ROR, PassThrough, VoxelGrid 等)和基础数据结构。虽然有 Python 绑定,但可能不如 C++接口完整或高效。

  • Open3D: 较新的 C++/Python 库,接口友好,功能全面,包含滤波(VoxelGrid, SOR, ROR)、聚类(DBSCAN)、可视化等。文档显示没有专门基于强度的滤波器。

  • PDAL (Point Data Abstraction Library): C++/Python 库,侧重于点云数据的抽象和处理流程(pipeline)构建。

  • ROS (Robot Operating System): 机器人和自动驾驶领域常用的中间件框架,许多 PCL 和 Open3D 的功能被封装为 ROS 节点或节点集(nodelets)供使用。

  • 特定算法的开源代码库 (GitHub):

  • L4DR: GitHub 链接 (Apache-2.0 License)

  • M2Fusion: GitHub 链接 (Apache-2.0 License)

  • V2X-R (含 MDD): GitHub 链接 (License 未明确提及)

  • RaLiBEV: GitHub 链接 (License 未明确)

  • DSOR: GitHub 链接 Bitbucket (License 未明确提及)

  • DROR (Charron): GitHub 链接 (MIT License)

  • DROR (YevgeniyEngineer): GitHub 链接 (GPL-3.0 License)

  • TripleMixer: GitHub 链接 (数据集遵循 CC BY-NC-SA 4.0,代码 License 未明确)

  • CNN 去噪 (Heinzler): GitHub 链接 (MIT License), PyTorch 包装 (MIT License)

  • Pointfilter: GitHub 链接 (License 未明确提及)

  • 卡尔曼/跟踪滤波器示例: (License 各异,需查阅具体仓库,例如 未明确提及 License 为 MIT License 为 MIT License163 为 MIT License)

  • 标定工具: (License 各异,需查阅具体仓库,例如 未明确提及 License)

为了更清晰地比较本报告中讨论的一些关键的先进滤波和融合方法,下表总结了它们的核心思想、时间信息处理方式、主要针对的噪声类型、关键技术、使用的评估数据集以及代码可用性。

方法名称核心思想时间信息处理主要噪声类型关键技术/模块数据集示例代码可用性 (License)
L4DRLiDAR-4D 雷达早期+特征融合,处理数据差异和动态退化无恶劣天气(雾)MME, FAD, {IM}2 Backbone, MSGFVoD, K-Radar是 (Apache-2.0)
M2FusionLiDAR-4D 雷达多模态多尺度特征融合无通用/反射?IMMF (自注意力), CMSFAstyx, Dual Radar是 (Apache-2.0)
V2X-R MDD雷达特征引导 LiDAR 特征去噪(扩散模型)无 (单帧处理)恶劣天气(雾/雪)Diffusion Model, Radar Feature ConditioningV2X-R (模拟)是 (未明确)
RaLiBEVBEV 下 LiDAR 柱与雷达热力图融合(Transformer),无锚框无恶劣天气(雾)Interactive Transformer, Anchor-Free HeadOxford Radar是 (未明确)
3D-LRF3D 空间 LiDAR-4D 雷达融合,考虑传感器特性和天气无多种天气3D Voxel Grouping, WRGNet (Gating)K-Radar可能 (Apache-2.0)
MVDNetLiDAR-3D 雷达晚期融合,注意力+3D 卷积显式 (3D 卷积)恶劣天气(雾)Attention Fusion, 3D ConvolutionOxford Radar是 (代码库未在提供的材料中直接确认,但论文常附带代码)
DDIOR动态距离-强度阈值滤波无雪Dynamic Thresholding (Distance, Intensity)WADS否 (仅论文描述)
AGDOR强度+自适应密度滤波无雪Intensity Filter, Adaptive Density (Radius)WADS否 (仅论文描述)
AORI距离像+自适应离群点移除无雪Range Image Projection, Adaptive FilterWADS否 (仅论文描述)
TripleMixer几何/频率/通道混合器网络无恶劣天气Geometry/Frequency/Channel Mixer LayersWADS, Weather-KITTI/NuScenes是 (数据集 CC BY-NC-SA 4.0, 代码未明确)
MSNR多阶段概率+空间滤波无背景光噪声Conditional Otsu, GFPD, DSOR内部数据集否 (仅论文描述)
CNN 去噪CNN 处理距离像无雨/雾Convolutional Neural NetworkDENSE是 (MIT), 是 (MIT), 是 (MIT)
UKF-MOTUKF 跟踪,马氏距离关联显式 (UKF)检测噪声/离群点UKF, Mahalanobis Distance, NmS MatchingKITTI否 (仅论文描述)
EKF TrackingEKF 跟踪,门控/NIS 关联显式 (EKF)检测噪声/离群点EKF, Gating (Chi-Square/Mahalanobis), NISWaymo, Custom是 (未明确), 是 (MIT)

注:代码可用性基于提供的材料,部分可能需要进一步核实。License 信息同样基于已有信息。

这张对比表清晰地展示了近年来在 LiDAR/雷达融合与滤波领域的一些代表性工作。可以看出,针对恶劣天气下的鲁棒性问题,研究者们提出了多种策略,包括利用雷达的鲁棒性来辅助 LiDAR(如 L4DR, MDD, 3D-LRF, MVDNet),设计专门针对特定天气噪声的滤波器(如 DDIOR, AGDOR, AORI, TripleMixer),以及利用时间信息进行跟踪和噪声抑制(如 UKF-MOT, EKF Tracking)。这些方法在融合层级(数据、特征、检测)、核心技术(注意力、扩散模型、Transformer、动态阈值、CNN)和时间信息利用程度上各有侧重,反映了该领域研究的多样性和深度。

本报告深入探讨了利用 LiDAR 和 4D 雷达数据的时序与多模态“指纹”特性进行噪声滤波的先进概念。通过分析噪声来源的多样性及其在点云数据中呈现的独特特征,结合时间一致性、运动线索、多模态融合以及先进滤波技术的应用,可以勾勒出未来传感器数据处理的发展方向。

  • 噪声指纹的可利用性: 研究表明,不同来源的噪声(天气、传感器伪影、干扰)并非完全随机,而是具有可识别的特征模式(强度、密度、速度、空间结构、几何依赖性、暂态性)。这些“指纹”为设计更具辨识力的滤波器提供了基础。与传统方法相比,利用这些指纹有望实现更精确的噪声剔除,同时减少对有效信息的误伤。
  • 时间维度的重要性: 真实世界的连续性和物体的运动规律为利用时间信息提供了强大的约束。通过滚动估计、运动分析(场景流、跟踪滤波器)和几何一致性检验,可以有效区分暂态或运动不规律的噪声点与持续存在且运动符合物理规律的真实物体。精确的自运动补偿是发挥时间维度作用的关键前提。
  • 多模态融合的必要性: 鉴于单一传感器的固有局限性(尤其是 LiDAR 在恶劣天气下的脆弱性),多模态融合(特别是 LiDAR 与 4D 雷达的结合)成为提高感知系统鲁棒性的必然选择。融合的关键在于设计能够有效处理不同传感器数据质量差异和动态退化程度的自适应策略。雷达的全天候性和测速能力使其成为弥补 LiDAR 短板的理想伙伴。
  • 先进滤波技术的集成: 超越简单的统计或密度阈值,结合局部增强(如双边滤波)、特征保持(如学习型方法)、先验约束(几何、语义、传感器模型)和混合策略,能够实现更精细、更智能的噪声处理,更好地平衡去噪效果和细节保留。

尽管前景广阔,但实现基于指纹的先进滤波仍面临诸多挑战:

  • 噪声建模的复杂性: 精确建模所有可能噪声源及其在不同条件下的“指纹”特征是一项艰巨的任务。噪声特性可能随环境、传感器型号、设置参数等因素动态变化。
  • 实时性要求: 自动驾驶等应用对感知系统的实时性要求极高。复杂的滤波和融合算法(尤其是涉及时间序列分析、深度学习模型或迭代优化的方法)需要在保证效果的同时,满足严格的计算效率约束。
  • 数据稀缺与标注困难: 获取覆盖各种噪声条件(尤其是罕见但关键的恶劣天气或干扰场景)的高质量、带有精确标注(区分噪声与真实物体)的多模态数据集仍然是一个瓶颈。这限制了数据驱动方法(如深度学习)的训练和评估。
  • 标定与同步精度: 多模态融合和精确的运动补偿都高度依赖于传感器之间以及传感器与载体之间精确的时空标定。标定误差会直接影响融合效果和运动估计的准确性,进而影响滤波性能。保持长期标定精度在实际应用中也是一个挑战。
  • 算法泛化能力: 设计出的滤波算法需要具备良好的泛化能力,能够适应不同的传感器型号、不同的地理环境以及未曾见过的噪声模式。

基于上述讨论,未来在 LiDAR/雷达噪声滤波领域的研究可以关注以下方向:

  • 更精细的噪声物理建模与仿真: 深入研究不同噪声现象(如各种天气粒子、反射、干扰)与传感器(不同波长、调制方式、扫描模式)的交互机制,建立更精确的物理模型。开发高保真度的仿真工具,能够生成包含多样化、可控噪声特征的多模态数据集,以弥补真实数据的不足。
  • 自适应与在线学习滤波: 开发能够在线学习和适应当前环境噪声特性的滤波算法。利用实时数据动态调整滤波参数或模型结构,而不是依赖离线训练或固定参数。这可能涉及在线模型更新、强化学习或元学习等技术。
  • 深度学习与传统方法的深度融合: 将深度学习强大的特征提取和模式识别能力与传统滤波方法的几何或统计原理相结合。例如,使用神经网络预测噪声概率图或运动场,然后将其作为先验信息指导传统滤波器(如卡尔曼滤波器、几何滤波器)进行更精确的滤波。
  • 端到端的时间感知与滤波: 发展能够直接处理时序多模态数据、联合优化感知(检测、分割、跟踪)和滤波任务的端到端深度学习框架。将时间一致性和运动学约束内嵌到网络结构或损失函数中,实现隐式的噪声抑制。
  • 利用 4D 雷达的全部潜力: 深入挖掘 4D 雷达提供的多普勒速度、高程角和可能的微多普勒信息,不仅用于目标检测和跟踪,更要用于识别和滤除具有特定速度特征的噪声(如区分静止杂波、运动杂波和真实目标)。
  • 跨传感器知识蒸馏与迁移: 研究如何将在数据丰富的传感器(如晴天下的 LiDAR)或鲁棒传感器(如雷达)上学到的知识迁移到性能较差的传感器或场景(如恶劣天气下的 LiDAR),以提高其去噪和感知能力。
  • 标准化基准与评估: 建立更完善的、包含多样化噪声场景和精确标注的公开基准数据集,以及标准化的评估指标,用于公平比较不同滤波和融合算法的性能,特别是在特征保持和对下游任务影响方面的评估。

LiDAR 和 4D 雷达是实现鲁棒自主感知的关键传感器,但其性能受到各种噪声源的显著影响,尤其是在恶劣天气条件下。传统滤波方法在处理复杂、动态的噪声时存在局限性。本报告提出并论证了一种先进的滤波概念,其核心在于识别和利用噪声在特定条件下呈现的时序和多模态“指纹”特征。

分析表明,不同噪声源(天气、传感器伪影、干扰)确实具有独特的、可测量的特征,这些特征与噪声的物理成因以及传感器与环境的交互方式相关,并常常表现出对几何关系(距离、角度)的依赖性和时间上的暂态性。利用这些指纹,结合时间一致性分析(如滚动估计、运动跟踪)、多模态传感器融合(特别是 LiDAR-4D 雷达融合)以及先进滤波技术(如局部增强、特征保持、先验约束),有望实现更精确、更鲁棒的噪声滤波。

当前研究已在多个方向取得进展,包括开发针对特定噪声类型(如雪、雾、反射)的滤波器、设计自适应融合框架(如 L4DR、M2Fusion、RaLiBEV、MDD)以及利用时间信息进行跟踪和噪声抑制(如基于 EKF/UKF 的跟踪)。然而,在噪声精确建模、算法实时性、大规模标注数据获取、标定精度维持以及算法泛化能力等方面仍面临挑战。

未来的研究应聚焦于更精细的噪声物理建模与仿真、自适应在线滤波算法、深度学习与传统方法的深度融合、端到端的时间感知与滤波框架、充分利用 4D 雷达信息以及建立标准化的评估基准。通过在这些方向上的持续探索,有望显著提升自主系统在各种复杂环境下的感知可靠性和安全性。