高逆反射表面测量优化
激光雷达(LiDAR, Light Detection And Ranging)技术通过发射激光脉冲并测量其飞行时间(Time-of-Flight, ToF)来获取环境的三维空间信息,已成为现代感知系统的关键组成部分。由于其能够提供精确的三维空间坐标,且不受环境光照条件影响,LiDAR 在自动驾驶、机器人技术、测绘等领域发挥着至关重要的作用。精确的环境感知是保障这些系统安全可靠运行的基础。LiDAR 系统通过发射激光束并探测从物体表面反射回来的信号,测量光脉冲的往返时间来计算距离。结合 GPS 确定位置和惯性测量单元(IMU)确定姿态,LiDAR 能够估算地面物体的高度。
然而,LiDAR 在面对特定类型的表面时会遇到挑战,尤其是高逆反射(High Retroreflective)表面。这类表面,如交通标志牌、车牌、道路标线、安全背心等,其光学特性是将入射光线沿几乎完全平行的路径反射回光源方向。这种特性虽然在夜间交通安全等方面至关重要,但对 LiDAR 系统却构成了严峻挑战。
当 LiDAR 发射的激光脉冲遇到高逆反射表面时,极高强度的反射光信号会返回到传感器。这种异常强的信号可能导致一系列问题,包括:
- 精度下降(Accuracy Degradation):主要表现为测距误差,通常使物体看起来比实际距离更远或更低。
- 虚警/黏连点(False Alarms / Ghost Points / Adhesion Points):在点云中出现实际不存在的虚假点(鬼影点),或点云粘连在物体表面。
- 高反膨胀/光晕效应(Blooming / Expansion Effect):高反射物体在点云中呈现出比实际尺寸更大的现象,影响形状和尺寸估计。
这些由高逆反射表面引发的 LiDAR 数据伪影(Artifacts)会严重干扰感知系统的性能,例如导致错误的障碍物识别、路径规划失败或不准确的地图构建,对自动驾驶等安全关键应用构成潜在威胁。
本文旨在全面分析 3D LiDAR 在扫描高逆反射表面时产生上述问题的物理机制,并系统性地梳理和评述现有的解决方法,涵盖信号处理、点云滤波、标定与多传感器融合等关键技术。
2. 高逆反射表面 LiDAR 伪影特征分析
Section titled “2. 高逆反射表面 LiDAR 伪影特征分析”理解 LiDAR 在高逆反射表面上产生伪影的原因,首先需要了解激光与不同表面的相互作用以及逆反射材料的独特性质。
2.1. LiDAR 与表面的相互作用物理学
Section titled “2.1. LiDAR 与表面的相互作用物理学”LiDAR 系统通过测量激光脉冲的飞行时间来确定距离。激光脉冲与物体表面相互作用时,会发生反射。常见的反射类型包括漫反射(Diffuse Reflection)和镜面反射(Specular Reflection)。漫反射是指光线向各个方向散射,这是大多数 LiDAR 应用场景中物体表面的主要反射方式。镜面反射则遵循反射定律,入射角等于反射角,常见于光滑表面如镜子或平静水面。
逆反射(Retroreflection)则是一种特殊的反射现象,其特点是无论入射光线的角度如何(在一定范围内),反射光线都会沿着与入射光线平行的路径返回光源。这通常通过特殊结构实现,例如角锥棱镜(Corner Cubes)或嵌入透明介质(如涂料或薄膜)中的微小玻璃珠(Glass Beads)。这些结构通过内部的多次反射或折射/反射组合,将光线精确地导回光源方向。
LiDAR 接收到的回波信号强度(通常称为 Intensity)与多种因素相关,包括目标表面的反射率(Reflectivity)、距离(Range)、激光入射角以及大气条件(如温度、湿度、雨雾等)。高反射率表面通常会产生更强的回波信号。逆反射材料的设计目标就是最大化返回到光源(即 LiDAR 传感器)的光能,因此其有效反射率极高,导致回波信号强度远超普通漫反射表面。
虽然其他特殊表面(如玻璃、镜面、潮湿路面)也会给 LiDAR 带来挑战,例如产生数据空洞(Data Voids)、镜面反射导致的虚假点(Reflection Artifacts / Virtual Points)或信号饱和,但高逆反射表面因其将极高能量集中反射回传感器的特性,引发了更为独特和严重的问题组合,即饱和、鬼影点和膨胀效应。正是这种高度集中的强回波能量,打破了 LiDAR 系统处理普通漫反射信号时的假设,成为后续一系列伪影产生的根本原因。
2.2. 强度饱和 (Intensity Saturation)
Section titled “2.2. 强度饱和 (Intensity Saturation)”机制: LiDAR 系统中的光电探测器(通常是雪崩光电二极管 APD)和后续的放大电路具有有限的动态范围。当来自高逆反射表面的回波信号强度过高,超出了探测器或放大器的线性响应范围时,就会发生饱和现象。
波形失真: 饱和现象在接收到的回波波形(Waveform)上表现为明显的失真。主要特征包括:
- 峰值削波(Peak Clipping): 波形的峰值部分被”削平”,无法反映真实的峰值强度。
- 脉冲展宽(Pulse Spreading): 波形的宽度增加,上升沿和下降沿变得不再陡峭。
测距影响: 这种波形失真直接影响了飞行时间的精确计算。依赖于波形峰值位置或质心位置的测距算法会因为峰值削波和脉冲展宽而产生偏差。通常情况下,饱和会导致计算出的飞行时间偏长,从而使得测得的距离(Range)大于实际距离,物体在点云中显得比实际位置更远。对于地面目标,这可能表现为高程(Elevation)测量值偏低。这种测距误差的量级可能达到数十厘米,在极端情况下甚至可能超过 1 米。饱和效应的严重程度通常与 LiDAR 发射的激光能量以及目标表面的反射率直接相关,高能量激光和高反射率表面更容易导致饱和。
2.3. 鬼影点与虚警 (Ghost Points and False Alarms)
Section titled “2.3. 鬼影点与虚警 (Ghost Points and False Alarms)”定义: 鬼影点是指在点云中出现的、实际物理空间中并不存在的虚假数据点。这些点是错误的探测结果(False Positives)。
多径反射(Multipath Reflection): 这是产生鬼影点的一种重要机制。激光脉冲在到达传感器之前可能经历了多次反射。例如,激光脉冲先照射到车辆附近的高逆反射交通标志,强反射光返回,一部分被传感器接收(产生真实点),另一部分可能照射到地面或其他物体(如其他车辆、建筑物),再次反射后才被传感器接收。由于光线传播路径变长,传感器会计算出一个错误的距离,从而在点云中生成一个远离真实标志牌位置的鬼影点。虽然多径反射是雷达和 LiDAR 普遍存在的问题,但高逆反射表面的强信号使得这些次级反射路径的回波也可能足够强,从而被传感器探测到,显著增加了鬼影点的发生概率和密度。
跨通道噪声/泄漏(Cross-Channel Noise/Leakage): 在多通道(Multi-Channel)LiDAR 系统中,特别是那些多个激光发射器和接收器通道同时工作的系统(以提高点云密度),高逆反射表面的极强回波可能引发通道间的串扰。当一个通道(例如通道 1)接收到来自逆反射体的极强信号时,部分光线或产生的电信号可能通过光学或电学路径泄漏(Leakage)到物理上邻近的另一个同时激活的通道(例如通道 2)中。由于通道 2 的探测器此时也处于工作状态,它会探测到这个泄漏的微弱信号,并错误地认为这是一个真实的回波。由于通道 1 和通道 2 的发射/接收角度存在微小的物理分离(方位角或俯仰角),这个由泄漏产生的虚假点通常会出现在真实目标点(通道 1 探测到的点)的旁边,形成一个偏移的鬼影点。
区分多径反射(与环境几何相关)和跨通道泄漏(与传感器内部结构和工作模式相关)这两种鬼影点来源至关重要。多径反射产生的鬼影点位置取决于环境中的其他反射面,而跨通道泄漏产生的鬼影点位置则与传感器通道布局和泄漏强度有关。因此,它们的识别和滤除可能需要不同的策略。例如,多径反射可能需要基于环境地图或时序一致性进行判断,而跨通道泄漏则可能通过分析相邻通道信号的强度和距离关系来识别。
2.4. 膨胀/光晕效应 (Blooming/Expansion Effect)
Section titled “2.4. 膨胀/光晕效应 (Blooming/Expansion Effect)”机制: 膨胀效应是指点云中高反射率物体(如逆反射标志牌)的点簇看起来比实际物体更大,边缘模糊不清,仿佛”膨胀”开来。这种现象与前面讨论的强度饱和密切相关。当强回波信号导致探测器饱和时,产生的波形展宽可能不仅仅影响单个点的测距精度,还可能影响到传感器对信号空间范围的判断,或者信号处理算法在处理饱和信号时产生弥散效应,使得原本属于物体边缘或邻近区域的测量点也被错误地归属到该物体上,导致点云中的物体表观尺寸增大。虽然存在”热晕(Thermal Blooming)“现象,即高功率激光束在介质(如空气)中传播时因吸收导致介质加热、密度和折射率变化,进而引起光束畸变和偏转,但这通常发生在极高功率激光远距离传输(如激光武器)或介质吸收显著的情况下,对于典型的车载 LiDAR 与交通标志牌的交互场景,由饱和及其后续信号处理引起的伪影是更可能的解释。
影响: 膨胀效应会严重干扰对物体尺寸和形状的准确估计,进而影响基于形状特征的物体分类算法的性能。例如,一个矩形的交通标志牌可能因为膨胀效应而在点云中呈现出近似圆形的轮廓,导致分类错误。
表 1:高逆反射表面 LiDAR 伪影总结
| 伪影类型 | 物理机制 | 点云表现 | 主要影响 |
|---|---|---|---|
| 强度饱和(Saturation) | 探测器/放大器过载 | 测距/高程错误(通常偏大/偏低)、强度失真 | 测距精度下降 |
| 鬼影点(Ghost Points)- 多径 | 间接反射路径 | 在错误位置出现虚假点 | 虚警、导航危险、地图污染 |
| 鬼影点(Ghost Points)- 串扰 | 传感器内部通道泄漏 | 在真实目标附近出现偏移的虚假点 | 虚警、点云簇混乱 |
| 膨胀/光晕(Blooming) | 饱和效应、信号处理伪影 | 物体表观尺寸增大、边缘模糊 | 物体形状/尺寸失真、分类错误 |
3. 缓解策略:信号处理与点云滤波
Section titled “3. 缓解策略:信号处理与点云滤波”针对高逆反射表面引发的 LiDAR 伪影,研究人员开发了多种在信号处理层面和点云数据层面进行缓解的策略。这些方法的目标是补偿失真、滤除噪声或识别并移除虚假点。
3.1. 饱和补偿与修正 (Saturation Compensation and Correction)
Section titled “3.1. 饱和补偿与修正 (Saturation Compensation and Correction)”原理: 该类方法直接针对由探测器饱和引起的波形失真及其导致的测距误差。
方法:
-
波形重建/补偿(Waveform Reconstruction/Compensation): 这类方法试图从饱和的波形数据中恢复出未饱和时的波形特征,或者直接估计出真实的信号到达时间。
- 饱和补偿模型(SCM): 通过估计饱和波形的尺度因子(Scale Factor)和延迟因子(Delay Factor)来补偿波形。尺度因子通常与饱和长度(波形被削平部分的持续时间)相关,可通过分段拟合等方式估计;延迟因子则描述饱和引起的计时偏差,可通过非精确线搜索等方法快速估计。
- 组合半高斯模型(CHGM): 使用两个不同的半高斯函数分别拟合饱和波形的上升沿和下降沿,以更精确地描述不对称的饱和波形。该方法在重建饱和波形时,据称能将最大校正误差限制在较小范围内,且不改变波峰位置。
- 优化方法: 在获得补偿后的波形或初步参数估计后,通常采用非线性优化算法(如高斯-牛顿法 Gauss-Newton method)来迭代优化波形参数(如峰值时间、幅度、宽度),以提取更精确的距离和强度信息。
-
后处理修正(Post-Hoc Correction): 这类方法不直接处理波形,而是在得到初步的测距/高程结果后,根据饱和程度的指标(如饱和指数
i_satNdx或激光发射能量)应用一个修正值。例如,NASA 的 ICESat 卫星激光测高任务中,提供了饱和高程修正值,用户需要手动将此修正值从测距结果中减去(或加到高程结果上)来校正饱和误差。该修正值本身也可作为数据质量指标,无效值表示该高程数据不应使用。
优缺点:
- 优点: 波形重建方法直接处理问题的根源(波形失真),理论上可以恢复更准确的信息。后处理修正方法实现相对简单,适用于无法获取原始波形数据的场景。
- 缺点: 波形重建方法通常需要访问底层(甚至原始)的波形数据,而这在许多商用 LiDAR 系统中是不开放的。此外,波形拟合和优化计算量较大,实时实现有挑战(尽管有 FPGA 加速的报道)。后处理修正方法可能依赖于经验模型或查找表,其精度和普适性可能受限。
3.2. 动态阈值技术 (Dynamic Thresholding Techniques)
Section titled “3.2. 动态阈值技术 (Dynamic Thresholding Techniques)”原理: 传统基于固定阈值的滤波方法(如统计滤波、半径滤波)在处理密度变化剧烈的 LiDAR 点云时效果不佳。动态阈值技术通过根据点的上下文信息(如距离、局部密度等)自适应地调整滤波参数,以期更准确地区分噪声点和有效信号点。
方法: 这类方法主要是对经典的离群点移除算法进行改进。
- 动态统计滤波(DSOR - Dynamic Statistical Outlier Removal): 针对 SOR 算法中标准差阈值对点云密度敏感的问题,DSOR 根据点到传感器的距离动态调整该阈值。通常距离越远,点云越稀疏,允许的标准差范围会相应放宽。
- 动态半径滤波(DROR - Dynamic Radius Outlier Removal): 针对 ROR 算法中固定搜索半径的问题,DROR 根据点到传感器的距离或其他局部特征动态调整搜索半径和邻域点数阈值。例如,距离越远,搜索半径可以设置得更大。
- 基于距离图像的自适应滤波: 利用 LiDAR 点云的有序结构(如距离图像 Range Image),可以快速计算邻域信息,并根据局部深度或强度变化自适应地设定滤波阈值或聚类参数。
优缺点:
- 优点: 相比固定阈值方法,更能适应 LiDAR 点云密度随距离变化的特性,提高了滤波的鲁棒性。
- 缺点: 这些方法主要是为滤除随机噪声(如雨雪天气噪声)而设计的,对于由饱和、多径或串扰引起的高反射伪影,其效果可能有限,除非结合其他特征(如强度)。参数调整(如阈值与距离的函数关系)仍然需要根据传感器和场景进行标定。如果调整不当,仍可能误删稀疏区域的有效点。
3.3. 基于反射率和强度的滤波 (Reflectivity and Intensity-Based Filtering)
Section titled “3.3. 基于反射率和强度的滤波 (Reflectivity and Intensity-Based Filtering)”原理: 利用高逆反射表面返回信号强度异常高的特点,或某些噪声点(如雨雪)强度异常低的特点,来识别和滤除伪影点。
方法:
-
强度阈值滤波: 设置一个或多个强度阈值。
- 高强度阈值: 移除强度值超过预设上限的点,主要用于处理饱和或膨胀效应产生的异常高强度点。
- 低强度阈值: 移除强度值低于预设下限的点。例如,LIOR(Low-Intensity Outlier Removal)算法结合低强度阈值和 ROR 滤波来去除雪花噪声点,这种思路或许可以调整用于滤除其他类型的低强度噪声。
-
强度特征分析: 将强度作为点的一个特征维度,与其他特征(如空间坐标、法向量、几何特征)结合,用于更复杂的滤波或分割算法中。
- 结合几何滤波: 在聚类或分类算法中,同时考虑点的空间位置和强度信息,以更好地区分具有相似几何位置但强度差异显著的真实点和伪影点。
- 关联入射角: 分析强度值与激光入射角的关系,某些反射现象(如镜面反射或特定伪影)可能在特定角度下表现出异常强度。
优缺点:
- 优点: 原理简单直观,直接利用了高逆反射表面的显著特征(高强度)。对于某些特定类型的噪声(如低强度雪花)可能非常有效。
- 缺点: 强度阈值的设定非常关键,但 LiDAR 强度值本身受多种因素影响(传感器型号、距离、大气条件、入射角、目标材质),没有统一标准,需要针对性标定。仅凭高强度无法区分真实的逆反射体和由其引起的饱和/膨胀伪影点。容易误删同样具有高强度的其他有效目标点(如潮湿表面、某些金属)。因此,通常需要结合几何信息或其他传感器信息来提高鲁棒性。
3.4. 几何滤波与离群点移除 (Geometric Filtering and Outlier Removal)
Section titled “3.4. 几何滤波与离群点移除 (Geometric Filtering and Outlier Removal)”原理: 基于点的空间分布几何特性,识别并移除那些与其邻域点或环境结构不一致的点。
方法:
- 统计离群点移除(SOR - Statistical Outlier Removal): 计算每个点到其 k 个最近邻点的平均距离。如果某点的平均距离显著大于邻域内所有点平均距离的某个倍数(通常基于均值和标准差设定阈值),则将其视为离群点并移除。
- 半径离群点移除(ROR - Radius Outlier Removal): 对每个点,统计其指定半径范围内的邻居点数量。如果邻居点数量少于预设阈值,则认为该点是离群点并移除。
- 基于聚类的滤波(Clustering-based Filtering): 首先对点云进行空间聚类(如欧氏聚类、DBSCAN),然后根据聚类的大小、密度或其他几何属性来判断是否为噪声簇。通常,规模过小的聚类被认为是噪声或虚假目标簇而被移除。基于距离图像的快速欧氏聚类可以提高效率。
- 体素滤波(Voxel Grid Filtering): 将点云空间划分为规则的 3D 网格(体素),并用每个体素内所有点的质心(或其他代表点)来代替该体素内的所有点。这是一种下采样方法,可以平滑点云并移除一些稀疏的离群点,但同时也会损失细节。
优缺点:
- 优点: 对滤除稀疏的、随机分布的噪声点(如传感器随机噪声或部分大气噪声)效果较好。聚类方法能够移除小规模的鬼影点簇。
- 缺点: 对于密集的鬼影点簇或靠近真实物体表面的伪影点,区分能力有限。SOR 和 ROR 的固定参数对点云密度变化敏感。所有几何滤波方法都有可能误删有效的稀疏数据点,例如远距离物体、细小结构或物体边缘点。对于由饱和引起的测距误差或膨胀效应,几何滤波基本无效。
代码可用性: SOR、ROR、Voxel Grid、Euclidean Clustering、DBSCAN 等都是标准的点云处理算法,在 PCL、Open3D 等库中有广泛实现。
3.5. 鬼影点与串扰缓解滤波器 (Ghost Point and Crosstalk Mitigation Filters)
Section titled “3.5. 鬼影点与串扰缓解滤波器 (Ghost Point and Crosstalk Mitigation Filters)”原理: 专门设计用于识别和移除由多径反射或传感器内部串扰产生的虚假点。
方法:
-
串扰检测(基于强度/距离关联): 针对多通道 LiDAR,检测在相邻且同时激活的通道中,是否存在距离非常接近(例如,相差几厘米内)但强度差异悬殊(例如,一个非常强,一个非常弱)的点对。如果存在,且强信号点的强度很高(可能来自逆反射体),则将弱信号点标记为由强信号泄漏引起的串扰鬼影点。这需要了解传感器的通道激活模式和物理布局。
-
串扰检测(基于选择性激活): 通过底层控制,有选择地开关某些激光发射器或仅关注 FOV 的特定区域,同时监测未被照射区域对应的探测器像素是否有异常信号。这可以直接测量和定位串扰,但需要对传感器硬件有较低级别的访问权限。
-
多径滤波(基于几何/时序一致性): 多径鬼影点的位置通常与环境中的反射面几何相关,且可能不如真实物体点稳定。
- 时序分析: 跟踪点云序列中点的运动轨迹,多径点可能表现出不稳定的或不符合物理规律的运动模式。
- 地图一致性: 将当前点云与已构建的环境地图进行比对,多径点可能出现在地图中的空旷区域或障碍物内部,表现出几何不一致性。
- 传感器融合验证: 利用其他传感器(如雷达、相机、或参考 LiDAR)的数据来验证 LiDAR 点的有效性。例如,检查可疑 LiDAR 点是否在相机图像中有对应物体,或是否与雷达探测到的目标位置/速度一致。
- 深度学习方法: 训练深度神经网络(如 PointNet 及其变种)来直接分类鬼影点。输入特征可以包括点的坐标、强度、多回波信息、邻域特征,甚至速度信息(如果传感器支持)。训练标签可能需要通过仿真或使用参考传感器来生成。
优缺点:
- 优点: 针对性强,能够处理特定机制产生的鬼影点,这些点可能无法被通用滤波器有效去除。
- 缺点: 串扰检测方法通常是传感器特定的,可能需要制造商提供内部信息或特殊控制接口。多径滤波方法通常比较复杂,可能需要依赖 SLAM(同时定位与建图)系统来提供地图或轨迹信息,计算量大。深度学习方法需要大量的标注数据进行训练,且模型的泛化能力需要验证。
3.6. 自动增益控制 (AGC) 与动态范围增强
Section titled “3.6. 自动增益控制 (AGC) 与动态范围增强”原理: 在硬件层面调整传感器的接收链路参数,以主动防止强回波信号(如来自逆反射体的信号)导致探测器或放大器饱和,或者通过特殊设计扩展系统的有效动态范围。
方法:
- AGC 环路: 在接收电路中集成自动增益控制环路。当检测到输入信号强度过高时,系统自动快速降低放大器的增益,避免饱和;当信号弱时,则提高增益以增强探测能力。
- 可变光衰减器(VOA): 在光路中(通常在探测器前)加入一个高速可调的光衰减器。根据探测到的信号强度实时调整衰减量,将过强的光信号衰减到探测器的线性工作范围内。基于电光陶瓷的 VOA 可以实现高速响应。
- 高动态范围探测器/放大器: 采用本身具有更宽动态范围的光电探测器,或设计多级增益放大器,根据信号强度选择合适的增益级别。
- 光预放大与衰减结合: 在探测器前使用低噪声、高增益的光学预放大器(如掺铒光纤放大器 EDFA)来提升对微弱信号的探测灵敏度,同时配合 VOA 或其他衰减机制来处理强信号,从而整体上扩展动态范围。
优缺点:
- 优点: 从源头上防止饱和发生,最大程度地保留了原始回波波形的完整性和测距精度。显著提升传感器对不同反射率目标的适应能力。
- 缺点: 这主要是传感器硬件设计层面的解决方案,通常用户无法通过软件进行修改或实现。AGC 环路或 VOA 的响应速度必须足够快,以应对 LiDAR 高速扫描中信号强度的快速变化。增加了传感器的设计复杂度和成本。其有效性高度依赖于具体的硬件实现方案。
表 2:针对逆反射伪影的点云滤波技术比较
| 方法类别 | 算法示例 | 原理 | 主要目标伪影 | 优点 | 缺点 | 应用场景 |
|---|---|---|---|---|---|---|
| 强度/反射率滤波 | 阈值法 | 信号强度 | 饱和/膨胀点 | 简单直观 | 阈值敏感、易误删 | 预处理 |
| 几何滤波(SOR/ROR) | SOR/ROR | 点密度/距离 | 稀疏离群点 | 滤除随机噪声 | 密度敏感、误删稀疏有效点 | 通用去噪 |
| 几何滤波(聚类) | DBSCAN | 空间聚集性 | 小规模鬼影点簇 | 滤除小簇噪声 | 参数敏感、难处理大簇 | 后分割清理 |
| 鬼影/串扰滤波 | 相邻通道检查 | 强度/距离关联 | 串扰鬼影点 | 针对性强 | 传感器特定、需同步信息 | 多通道 LiDAR |
| 鬼影/串扰滤波 | 多径一致性检查 | 几何/时序/地图一致性 | 多径鬼影点 | 处理环境相关鬼影 | 复杂、需跟踪/地图/融合 | SLAM/融合系统 |
信号处理和点云滤波是应对 LiDAR 伪影的第一道防线。其中,信号层面的饱和补偿和 AGC 能最根本地解决饱和问题,但往往受限于传感器硬件或底层数据的可访问性。点云滤波方法则更为通用,但没有一种单一的滤波技术能完美解决所有问题。强度滤波对阈值敏感,几何滤波可能误删有效点,而专门的鬼影滤波器则针对性强但普适性差。这表明,在实际应用中,往往需要根据具体的传感器特性、应用场景和主要的伪影类型,组合使用多种滤波技术,或者将滤波与更高层次的系统级方法(如传感器融合)相结合,才能达到更鲁棒的效果。同时,动态/自适应滤波技术的发展趋势也反映了业界对于处理 LiDAR 数据固有变化性的需求。
4. 缓解策略:系统级方法
Section titled “4. 缓解策略:系统级方法”除了在信号和点云层面进行处理,系统级的策略,如精确标定和多传感器融合,也为缓解高逆反射表面引起的 LiDAR 伪影提供了重要途径。这些方法通过确保数据一致性或引入互补信息来增强感知的鲁棒性。
4.1. 二次标定与无目标在线标定方法 (Secondary and Targetless Online Calibration Methods)
Section titled “4.1. 二次标定与无目标在线标定方法 (Secondary and Targetless Online Calibration Methods)”原理: 精确的传感器外参标定(Extrinsic Calibration)是多传感器融合和构建一致性环境地图的基础。外参指的是传感器之间或传感器与载具坐标系之间的相对位姿关系(旋转和平移)。不准确的标定会导致数据在融合时错位,可能将来自不同传感器的信息错误地关联,或者在地图构建中引入误差,这些都可能放大或被误认为是传感器本身的伪影。二次标定(在初始标定后进行检查或重新标定)和在线标定(在系统运行过程中持续估计或优化标定参数)对于维持长期精度至关重要,尤其是在传感器可能因振动、温度变化或老化而发生位移的情况下。
方法:
-
基于目标的标定(Target-based): 这是传统的离线标定方法,使用已知几何形状或特征的标定物(如棋盘格、球体、特殊标记板)。通过在不同传感器数据中识别标定物的对应特征点或几何中心,可以求解传感器间的外参。逆反射标记(Retroreflective markers)有时也被用作高精度的标定点,尤其是在 LiDAR-LiDAR 或 LiDAR 系统内部标定(如 Boresight 标定)中,因为它们能提供清晰、强烈的回波信号。
-
无目标标定(Targetless): 这类方法不依赖人工标定物,而是利用环境中的自然特征进行标定,更适用于在线或自动化场景。
- 基于运动(Motion-based): 通过匹配不同传感器估计的载具运动轨迹来求解外参。例如,比较 LiDAR 里程计和 IMU 积分或视觉里程计得到的轨迹。
- 基于特征(Feature-based): 提取和匹配不同传感器数据中的共视环境特征。可以是几何特征,如边缘、平面、或特定物体(如车辆、行人)的 3D/2D 包围盒中心;也可以是语义特征,如利用道路元素(车道线、交通标志)进行 LiDAR 与车辆坐标系的对齐。深度学习方法可以用于学习跨模态的特征表示和匹配。
- 基于信息论: 通过最大化不同传感器数据间的互信息(Mutual Information)来估计最佳对齐参数。
-
在线/连续标定(Online/Continuous): 许多无目标方法被设计成可以在系统运行时持续进行标定,实时或定期更新外参,以适应可能发生的参数漂移。这对于保持融合系统的长期精度和鲁棒性至关重要。一些框架支持多个 LiDAR 之间的自动标定,即使它们之间没有完全重叠的视场。
优缺点:
- 优点: 精确的标定是后续所有依赖于多传感器数据或时序数据一致性的伪影缓解策略(如融合滤波、地图一致性检查)的前提。无目标和在线标定方法大大提高了标定的实用性,减少了人工干预,并能适应传感器位姿的动态变化,增强了系统的鲁棒性。
- 缺点: 基于目标的离线标定虽然精度可能较高,但不适用于在线调整。无目标方法通常精度低于基于目标的方法,且其性能依赖于环境中是否存在足够且可区分的特征,在特征稀疏或重复性高的场景(如长廊、隧道)中可能失效。基于运动的方法依赖于精确的运动估计。在线标定算法通常计算复杂度较高。标定本身的误差也可能引入新的问题。
4.2. 多传感器融合:利用互补性对抗伪影 (Multi-Sensor Fusion)
Section titled “4.2. 多传感器融合:利用互补性对抗伪影 (Multi-Sensor Fusion)”原理: 将来自不同类型传感器(如 LiDAR、相机、IMU、雷达)的数据进行融合,利用它们各自的优势和信息的互补性,来克服单一传感器的局限性,包括对特定伪影的易感性。通过多源信息的交叉验证和补充,可以提高感知的整体鲁棒性和可靠性。
针对逆反射伪影的融合原理:
-
LiDAR + 相机: 这是最常见的融合组合之一。相机提供高分辨率的颜色、纹理和语义信息,而 LiDAR 提供精确的 3D 几何结构信息。这种互补性对于处理逆反射伪影特别有用:
- 目标验证与识别: 相机图像可以清晰地显示交通标志、车牌等逆反射物体的外观和语义类别。当 LiDAR 检测到一个高强度点簇时,可以通过融合判断该位置在相机图像中是否确实对应一个已知的逆反射物体。
- 鬼影点滤除: 对于 LiDAR 点云中疑似的鬼影点(无论是多径还是串扰产生的),可以检查其投影到相机图像的位置是否存在对应的物理实体。如果图像显示该位置为空旷区域或与预期物体不符,则该 LiDAR 点很可能是虚假的。
- 膨胀效应修正: 相机图像分割可以提供物体更精确的 2D 轮廓。将 LiDAR 点投影到图像上,结合分割结果,可以更准确地判断哪些点真正属于物体,哪些是膨胀效应产生的伪影,从而修正物体的 3D 形状和尺寸。
- 增强检测: 对于距离较远或尺寸较小的逆反射目标,LiDAR 点云可能非常稀疏。通过将图像中提取的语义特征(如”交通标志”的概率)赋予(“Paint”)对应的 LiDAR 点,可以为后续的 LiDAR 3D 检测器提供额外信息,提高检测的召回率和准确性。
-
LiDAR + IMU: IMU 提供高频(通常 >100Hz)的加速度和角速度测量,能够精确估计载体的短时运动。
- 运动畸变校正: 扫描式 LiDAR 在采集一帧数据的过程中,载体本身在运动,导致点云内部存在畸变。利用 IMU 数据进行高频运动补偿,可以恢复点云的几何一致性。这对于后续所有基于几何形状或一致性的处理(包括滤波和融合)都至关重要。
- 时序分析支持: 许多依赖于时序一致性的鬼影滤波方法(如跟踪点的稳定性)或基于运动的标定方法都需要精确的自我运动估计,这通常由 LiDAR-IMU 融合提供。
-
LiDAR + 雷达: 雷达对恶劣天气(雨、雾、雪)的穿透性优于 LiDAR,并且可以直接测量目标的多普勒速度。融合雷达可以帮助在 LiDAR 性能下降时提供冗余检测,并且雷达探测到的移动物体信息可以用来辅助识别和滤除 LiDAR 点云中的动态目标。
系统级方法通过确保数据质量(标定)和引入互补信息(融合)来间接应对伪影。精确的标定是融合的基础,而在线、无目标标定技术的发展使得在实际应用中维持标定精度成为可能。多传感器融合,特别是 LiDAR 与相机、IMU 的结合,利用不同传感器的优势进行交叉验证和信息补充,是提高系统对包括逆反射伪影在内的各种挑战鲁棒性的关键策略。
4.2.1. LiDAR-相机融合框架 (LiDAR-Camera Fusion Frameworks)
Section titled “4.2.1. LiDAR-相机融合框架 (LiDAR-Camera Fusion Frameworks)”近年来,基于深度学习的 LiDAR-相机融合框架在 3D 目标检测领域取得了显著进展。这些框架探索了不同的融合策略,以期结合 LiDAR 的精确几何信息和相机的丰富语义信息。
-
BEVFusion:
- 原理: 该框架的核心思想是在统一的鸟瞰图(Bird’s-Eye View, BEV)表示空间中融合 LiDAR 和相机特征。它采用两个相对独立的流来分别处理两种模态的数据,最后在 BEV 空间进行融合。
- 方法/算法: 相机流首先使用 2D 主干网络提取多视角图像特征,然后通过视图转换模块(如借鉴 Lift-Splat-Shoot (LSS) 的方法)将 2D 特征提升到 3D 空间并投影到 BEV 平面,生成相机 BEV 特征图。LiDAR 流则使用 3D 主干网络(如 PointPillars、CenterPoint)直接处理点云,生成 LiDAR BEV 特征图。最后,融合模块将两种 BEV 特征图沿通道维度拼接,通过卷积层进行初步融合,并利用通道注意力机制(如 Squeeze-and-Excitation)自适应地选择和加权重要的融合特征,输出最终的融合 BEV 特征图送入检测头。
- 优缺点:
- 优点: 由于相机流的独立性,BEVFusion 对 LiDAR 传感器的故障或噪声具有很强的鲁棒性,即使 LiDAR 数据缺失或质量下降,系统仍能依靠相机流产生预测结果。该框架具有良好的通用性,可以方便地集成不同的单模态 BEV 编码器和检测头。通过优化的 BEV 池化操作,提高了视图转换的效率。在标准数据集(如 nuScenes)上取得了领先的性能。
- 缺点: 相机流的视图转换步骤可能引入较大的计算延迟。系统的整体性能仍然依赖于相机数据的质量。相机 BEV 特征和 LiDAR BEV 特征之间可能存在一定的对齐误差,需要融合网络进行补偿。训练过程可能分为预训练和融合训练两个阶段。
- 代码可用性: 官方和社区均有代码实现,包括基于 PyTorch 和 TensorRT 的版本。
-
DeepFusion:
- 原理: 与在早期融合原始点或浅层特征不同,DeepFusion 主张在深度特征层面进行 LiDAR 和相机的融合,认为这样能更好地结合两种模态的高级信息。其核心在于解决深度特征的精确对齐问题。
- 方法/算法: 首先,使用各自的主干网络(如 PointPillars 的 PFN 和 ResNet)提取 LiDAR 深度特征(如体素特征)和相机深度特征。然后,采用两个关键技术进行对齐和融合:1) InverseAug: 在训练过程中记录对 LiDAR 点云进行的几何增强(如旋转、缩放)参数,在融合时应用这些参数的逆变换,将 LiDAR 特征点映射回未增强的坐标系,从而能够使用原始标定参数将其精确投影到相机图像上,找到对应的相机特征区域。2) LearnableAlign: 对于每个 LiDAR 特征(如体素)及其对应的多个相机特征(像素),使用交叉注意力(Cross-Attention)机制动态学习它们之间的相关性。LiDAR 特征作为查询(Query),相机特征作为键(Key)和值(Value),通过注意力权重对相机特征进行加权聚合,得到与当前 LiDAR 特征最相关的相机信息。最后,将聚合后的相机特征与原始 LiDAR 特征拼接,送入后续的检测网络。
- 优缺点:
- 优点: 通过有效的深度特征对齐显著提升了融合性能,在 Waymo Open Dataset 上取得了 SOTA 结果。对输入噪声和域外数据(OOD)表现出较好的鲁棒性。设计为通用模块,可方便地嵌入到多种基于体素的 3D 检测框架中。可进行端到端训练。
- 缺点: 相比单模态方法,增加了计算复杂度和成本。性能依赖于两个传感器的正常工作。
- 代码可用性: 代码通过 TensorFlow Lingvo 框架提供。
-
PointPainting:
- 原理: 采用一种顺序融合(Sequential Fusion)策略,将图像的语义信息”绘制”(Paint)到 LiDAR 点云上,再将增强后的点云送入任何现有的 LiDAR-only 3D 检测器。
- 方法/算法: 首先,使用一个图像语义分割网络处理相机图像,得到每个像素的类别得分(或概率分布)。然后,利用传感器间的标定参数,将每个 LiDAR 三维点投影到图像平面上,找到其对应的像素位置。最后,将该像素的语义得分向量附加到对应 LiDAR 点的特征中(通常是拼接在 XYZ 和反射率等原始特征之后)。处理后的”带颜色”(语义色彩)的点云即可作为 LiDAR 检测器的输入。
- 优缺点:
- 优点: 概念简单,易于理解和实现。通用性强,几乎可以与任何 LiDAR 检测器结合,只需修改输入层以适应增加的特征维度。显著提高了检测精度,尤其对于行人、骑行者等在 LiDAR 中几何特征不明显但语义特征清晰的目标。通过流水线处理(用前一帧图像的分割结果绘制当前帧点云),可以实现较低的延迟。
- 缺点: 性能高度依赖于图像语义分割的准确性,分割错误会直接传递给 LiDAR 点云,可能误导检测器。相机与 LiDAR 的视场差异、遮挡不一致以及时间戳不同步(尤其在动态场景中使用流水线处理时)可能导致投影错误或语义信息与几何位置不匹配。需要处理好分割任务和检测任务之间可能存在的类别定义差异。
- 代码可用性: 存在多个开源实现,可在 GitHub 上找到。
表 3:LiDAR-相机融合框架用于鲁棒感知的概述
| 框架 | 融合策略 | 关键创新点 | 伪影/噪声处理方式 | 优点 | 缺点 |
|---|---|---|---|---|---|
| BEVFusion | BEV 特征拼接 + 注意力 | 独立流/鲁棒性;高效 BEV 池化 | 相机备份;鲁棒性训练 | 对 LiDAR 丢失鲁棒;通用性;SOTA 性能 | 延迟;依赖相机;可能存在对齐误差 |
| DeepFusion | 深度体素特征拼接 + 注意力 | InverseAug;LearnableAlign | 跨模态鲁棒性;特征级融合 | 精确对齐;鲁棒性;通用插件;SOTA 性能 | 复杂性;成本;依赖双传感器 |
| PointPainting | 点云附加语义得分 | 顺序语义绘制 | 语义消歧;增强稀疏点 | 简单;通用;低延迟潜力;提升小目标检测 | 依赖分割质量;对齐/同步问题 |
这些基于深度学习的融合框架代表了当前利用 LiDAR 和相机互补性来提高 3D 感知鲁棒性的前沿方向。它们通过不同的策略(BEV 融合、深度特征融合、点级别语义增强)来结合信息,并各自在精度、鲁棒性、通用性和实现复杂度之间做出了权衡。选择哪种框架取决于具体的应用需求和系统约束。
4.2.2. 利用 LiDAR-IMU 融合 (Leveraging LiDAR-IMU Fusion)
Section titled “4.2.2. 利用 LiDAR-IMU 融合 (Leveraging LiDAR-IMU Fusion)”原理: 将 LiDAR 的精确测距能力与 IMU 的高频运动感知能力相结合,以提高系统的状态估计(位姿、速度)精度和鲁棒性,并校正 LiDAR 数据本身因运动产生的畸变。
方法:
- 紧耦合融合(Tightly-coupled Fusion): 在状态估计器(如扩展卡尔曼滤波器 EKF 或基于优化的方法如图优化)中,将 LiDAR 的测量(如点到点、点到线、点到面的匹配残差)和 IMU 的测量(加速度、角速度)同时纳入优化过程,共同估计传感器位姿、速度以及 IMU 的偏置(bias)。LOAM (LiDAR Odometry and Mapping) 及其众多变种(如 LIOM、FAST-LIO)是此类方法的代表。
- 运动畸变校正(Motion Distortion Correction / De-skewing): 利用 IMU 在 LiDAR 扫描周期内(通常几十毫秒)提供的高频运动估计,对每个 LiDAR 点根据其精确的发射时间戳进行运动补偿,将其坐标转换到扫描结束(或开始)时刻的统一坐标系下,消除因传感器运动造成的点云扭曲。
与伪影缓解的关系:
- 精确的自我运动估计: 对于需要时序信息来判断伪影(如多径点稳定性)的方法,精确的自我运动估计是必不可少的。
- 几何一致性: 校正运动畸变保证了单帧点云内部以及连续帧之间的几何一致性。这有助于避免将运动引起的形状扭曲误判为膨胀或其他伪影,并为基于几何的滤波和分割提供了更可靠的基础。
- 标定维持: LiDAR-IMU 融合有助于更精确地估计 LiDAR 的运动轨迹,这可以用于基于运动的在线外参标定或验证。
优缺点:
- 优点: 显著提高定位和建图的精度和鲁棒性,尤其是在 LiDAR 特征稀疏或退化的环境(如长廊)或高速运动时。是解决扫描式 LiDAR 运动畸变问题的关键技术。
- 缺点: 需要精确的时间同步(硬件或软件)和 LiDAR 与 IMU 之间的外参标定。需要有效处理 IMU 的噪声和漂移问题。
代码可用性: LOAM 及其许多基于 LiDAR-IMU 融合的改进版本(如 FAST-LIO)都有公开的源代码。
系统级方法通过保证数据质量(标定)和引入互补信息(融合)为解决 LiDAR 伪影问题提供了更高层面的解决方案。在线无目标标定技术对于维持融合系统所需的精度至关重要。而多传感器融合,特别是结合相机语义和 IMU 运动信息,能够从不同维度对 LiDAR 数据进行验证和增强,是构建真正鲁棒的感知系统的关键。
5. 高分辨率集成式多模态 LiDAR 的应用效益
Section titled “5. 高分辨率集成式多模态 LiDAR 的应用效益”新一代 LiDAR 传感器,凭借其高分辨率、高密度点云以及集成相机、IMU 等特性,为应对包括高逆反射表面在内的感知挑战带来了新的机遇。
5.1. 高分辨率与高点密度的影响
Section titled “5.1. 高分辨率与高点密度的影响”高分辨率传感器通常提供更高的垂直和水平分辨率,能够在单位时间内生成更密集的点云数据。这种高密度特性对伪影缓解具有多方面益处:
- 改善滤波效果: 密集的点云为基于邻域的几何滤波器(如 SOR、ROR、聚类算法)提供了更丰富的上下文信息。更多的邻近点使得统计估计(如局部均值、标准差)更可靠,有助于更准确地区分孤立的噪声点和真实的稀疏结构,减少误删有效点的概率。同时,高密度也支持使用更精细的体素网格进行滤波或特征提取。
- 增强特征提取: 更密集的点云能够更精细地刻画物体的几何形状和表面细节。这对于基于特征的标定方法(需要匹配边缘、平面等)和基于几何形状的目标检测与分割算法都是有利的。更清晰的物体轮廓使得区分附着在物体表面的伪影点或判断膨胀效应的范围更为容易。
- 精细化伪影分析: 高密度数据有助于更清晰地观察和分析伪影的模式,例如膨胀效应的具体形态、鬼影点的空间分布规律等,为开发更具针对性的滤波算法提供依据。
虽然高分辨率本身不能消除饱和或串扰等物理现象,但它提供的更丰富的数据为后续的软件处理算法(滤波、分割、融合)提供了更好的基础,从而间接提高了伪影缓解的效果。
5.2. 利用集成的相机数据(强度、环境图像)
Section titled “5.2. 利用集成的相机数据(强度、环境图像)”部分 LiDAR 传感器的一大特点是能够在其激光扫描的同时,利用同一光学路径和探测器阵列生成类似相机的二维图像。这些图像通常包括:
- 强度图像(Intensity Image): 每个像素对应一个 LiDAR 点,其灰度值表示该点反射回波的强度(或反射率)。这提供了场景的纹理和材质信息。
- 环境图像(Ambient Image): 探测器在激光发射间隙接收到的环境近红外光形成的图像。这反映了场景在近红外波段的被动光学外观。
- 距离图像(Range Image): 将每个点的距离信息编码为像素值形成的图像。
这种集成成像能力带来了独特的优势:
- 内禀对齐(Inherent Alignment): 由于距离、强度和环境图像是与点云通过同一套光学系统、在同一时间采集的,它们之间不存在外参标定误差和时间同步问题。这极大地简化了 LiDAR 内部多模态数据的融合。
- 丰富的语义信息: 强度图像和环境图像可以输入到成熟的计算机视觉算法中,进行目标检测、语义分割、特征提取等。这为 LiDAR 点云提供了像素级别的语义标注。
- 增强的融合效益: 可以直接利用 LiDAR 自带的图像数据实现类似 PointPainting 的语义增强,或者进行更深层次的特征融合,而无需额外安装、标定和同步一个独立的相机。这有助于识别逆反射物体(通常在强度图上极亮)、区分材质、验证可疑点(检查其在环境图像中是否有对应实体)等,从而提高对伪影的鲁棒性。
这种”LiDAR 即相机”(LiDAR-as-a-camera)的能力,使得传感器本身就能提供紧密耦合的多模态信息,为开发更强大的感知算法提供了便利。
5.3. 集成 IMU 的作用
Section titled “5.3. 集成 IMU 的作用”许多现代 LiDAR 传感器都内置了惯性测量单元(IMU)。集成 IMU 主要带来以下好处:
- 运动补偿: IMU 提供的高频(如 100Hz 或更高)角速度和线加速度数据,可以精确估计传感器在单次扫描过程中的微小运动,用于对点云进行实时去畸变处理。这对于保持点云的几何精度至关重要。
- 改善里程计/SLAM: 通过将 IMU 数据与 LiDAR 数据进行紧耦合融合(如 FAST-LIO 等算法),可以显著提高里程计和 SLAM 系统的精度、鲁棒性和实时性,尤其是在 LiDAR 特征退化或运动剧烈的场景下。精确的位姿估计是进行时序分析、地图一致性检查等伪影识别方法的基础。
- 辅助标定: IMU 提供的独立运动测量信息可以用于在线外参标定的优化或验证过程中。
5.4. 与先进缓解技术的协同效应
Section titled “5.4. 与先进缓解技术的协同效应”总结来说,高分辨率集成式多模态 LiDAR 的特性与前述的伪影缓解技术形成了良好的协同效应:
- 高密度点云提升了几何滤波和聚类滤波的性能和可靠性。
- 集成的强度/环境图像简化了 LiDAR-相机融合,使得 PointPainting 等语义增强方法或特征级融合更容易实现,且无需处理外部传感器的标定和同步问题。
- 集成的 IMU保证了运动补偿的精度,并为 LiDAR-IMU 融合 SLAM 提供了基础,这对于依赖时序一致性或精确位姿的高级滤波和在线标定方法至关重要。
- 从单一、内部校准的传感器单元获取丰富的多模态数据流(距离、强度、环境光、惯性数据),极大地促进了需要紧密耦合多信息的复杂感知算法的开发和部署。
因此,这类集成式高分辨率 LiDAR 不仅在常规场景下能提供更佳的感知性能,其丰富的、内禀对齐的多模态数据也为解决高逆反射表面等特殊挑战提供了更强大的工具和潜力。
6. 开源实现与代码示例
Section titled “6. 开源实现与代码示例”本节提供一些用于解决 3D 激光雷达在高逆反射表面问题的滤波、传感器融合等技术的开源代码实现,主要基于 C++ 和 Python。这些代码库和示例可以作为进一步研究和开发的起点。
6.1. 点云滤波 (Filtering)
Section titled “6.1. 点云滤波 (Filtering)”-
统计离群点移除(Statistical Outlier Removal - SOR):
-
库/语言: PCL (C++)
-
描述: 通过计算每个点与其邻域点的距离分布,移除距离均值过远的点。适用于滤除稀疏噪声点。
-
示例代码(PCL C++):
#include <pcl/point_types.h>#include <pcl/filters/statistical_outlier_removal.h>// ... (包含和读取点云代码) ...pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>);pcl::PointCloud<pcl::PointXYZ>::Ptr cloud_filtered(new pcl::PointCloud<pcl::PointXYZ>);// ... (填充 cloud 点云数据) ...pcl::StatisticalOutlierRemoval<pcl::PointXYZ> sor;sor.setInputCloud(cloud);sor.setMeanK(50); // 设置邻域点数量sor.setStddevMulThresh(1.0); // 设置标准差倍数阈值sor.filter(*cloud_filtered); // 执行滤波// ... (使用 cloud_filtered) ... -
相关链接:
-
动态/自适应 SOR(DSOR): PCL 无直接实现,需在 SOR 基础上根据距离等因素动态调整参数。
-
-
半径离群点移除(Radius Outlier Removal - ROR):
-
库/语言: PCL (C++)、Open3D (Python)
-
描述: 移除在指定半径内邻居点数量少于设定阈值的点。
-
示例代码(PCL C++):
#include <pcl/point_types.h>#include <pcl/filters/radius_outlier_removal.h>// ... (包含和读取点云代码) ...pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>);pcl::PointCloud<pcl::PointXYZ>::Ptr cloud_filtered(new pcl::PointCloud<pcl::PointXYZ>);// ... (填充 cloud 点云数据) ...pcl::RadiusOutlierRemoval<pcl::PointXYZ> outrem;outrem.setInputCloud(cloud);outrem.setRadiusSearch(0.8); // 设置搜索半径outrem.setMinNeighborsInRadius(2); // 设置半径内最少邻居点数outrem.filter(*cloud_filtered); // 执行滤波// ... (使用 cloud_filtered) ... -
相关链接:
-
动态/自适应 ROR(DROR): PCL/Open3D 无直接实现,需在 ROR 基础上定制。
-
-
反射率/强度滤波(Reflectivity/Intensity Filtering):
-
库/语言: PCL (C++)、Open3D (Python)
-
描述: 利用高逆反射表面回波强度异常高的特性进行滤波,通常实现为简单的阈值判断。
-
示例(概念性 Python):
# 假设 pcd 是 Open3D 点云对象, 包含强度信息# points = np.asarray(pcd.points)# intensities = np.asarray(pcd.colors)[:, 0] # 假设强度存在颜色通道# high_intensity_threshold = 0.9 # 示例阈值# filtered_indices = np.where(intensities < high_intensity_threshold)# filtered_pcd = pcd.select_by_index(filtered_indices) -
相关项目:
- ILCC(Python,依赖 PCL):利用激光雷达反射强度进行 LiDAR-相机标定。https://github.com/mfxox/ILCC
- LiDAR-reflectivity-segmentation(Python):利用反射率进行语义分割。https://github.com/unmannedlab/LiDAR-reflectivity-segmentation
- Autoware
passthrough_filter(C++):可根据强度字段过滤。
-
-
其他滤波方法:
- Autoware Point Cloud Preprocessor(C++): 提供多种滤波器(outlier_filter、crop_box_filter、passthrough_filter 等)。
- ROS Laser Filters(C++): 主要用于 2D 激光扫描,部分概念可借鉴。
6.2. 时序信息利用与动态物体移除
Section titled “6.2. 时序信息利用与动态物体移除”这些方法利用时序信息来增强鲁棒性或滤除动态伪影,与滚动规划中基于时序特征叠加置信度的思想相关。
-
基于时序一致性的动态点/移动物体移除:
- 原理: 静态点在连续帧中位置相对稳定,而动态点或伪影点可能表现出不一致性。
- 方法: 通常结合 SLAM/LIO 系统提供的位姿估计,比较当前帧与历史地图或先前帧的一致性。
- 相关代码/项目:
- LiDAR-MOS(Python): 基于 SalsaNext 等分割网络,利用连续帧的残差图像分割移动物体。https://github.com/PRBonn/LiDAR-MOS
- 4DMOS(Python): 使用 4D 稀疏卷积处理点云序列进行移动物体分割。
- MotionSeg3D(Python): 双分支结构融合时空信息进行移动物体分割。
- Removert / ERASOR / R-PGO: SLAM 系统中用于移除动态物体影响的方法。
- MOLA-LO(C++): LiDAR SLAM 系统,包含动态物体移除模块。
- TRLO(C++): 结合目标检测和跟踪(UKF+NN)移除动态物体。
- HMM-MOS(C++): 使用隐马尔可夫模型建模体素状态进行动态点分割。
- ID-LIO(C++): 基于 LIO-SAM,使用索引点和延迟移除策略处理动态场景。
- 标签一致性方法(C++): 利用连续帧中点的语义标签一致性检测动态点。
- 其他 SLAM/Odometry: 如 LIO-SAM、FAST-LIO、DLO 等,其精确的位姿估计是时序一致性检查的基础。
-
置信度累积(Confidence Accumulation):
- 原理: 结合多次观测或不同来源的信息,累积对点云或地图单元状态的置信度。
- 方法: 常用于占据栅格地图更新或点云滤波。
- 相关代码/项目:
- lidar-confidence(Python): 估计 LiDAR 稀疏深度图的置信度。
- FindSurface Demo(Swift): iOS 应用,使用置信度过滤 ARKit 点云。
- 占据栅格地图(OGM)算法: 许多 SLAM 系统(如 Cartographer、OctoMap)和感知模块(如 Autoware)使用概率方法(如贝叶斯滤波)更新栅格置信度。
6.3. 传感器融合与标定
Section titled “6.3. 传感器融合与标定”-
LiDAR-相机融合框架:
- BEVFusion(Python/C++): 在鸟瞰图(BEV)空间融合 LiDAR 和相机特征。
- NVIDIA CUDA-BEVFusion:https://github.com/NVIDIA-AI-IOT/Lidar_AI_Solution/tree/master/CUDA-BEVFusion(包含 C++ 和 CUDA 实现)
- MIT Han Lab BEVFusion(PyTorch):https://github.com/mit-han-lab/bevfusion
- ADLab-AutoDrive BEVFusion(PyTorch):https://github.com/ADLab-AutoDrive/BEVFusion
- DeepFusion(Python/TensorFlow): 在深度特征层面融合 LiDAR 和相机特征,利用 InverseAug 和 LearnableAlign 进行对齐。
- TensorFlow Lingvo:https://github.com/tensorflow/lingvo(包含 DeepFusion 实现)
- PointPainting(Python/C++): 将图像语义分割结果”绘制”到 LiDAR 点云上,增强点云特征。
- AmrElsersy/PointPainting(Python/C++):https://github.com/AmrElsersy/PointPainting(包含 C++ TensorRT/CUDA 推理实现)
- Song-Jingyu/PointPainting(Python):https://github.com/Song-Jingyu/PointPainting
- Autoware pointpainting_fusion(C++):https://autowarefoundation.github.io/autoware.universe/main/perception/autoware_image_projection_based_fusion/docs/pointpainting-fusion/
- OUXT-Polaris/point_painting(C++):https://github.com/OUXT-Polaris/point_painting
- BEVFusion(Python/C++): 在鸟瞰图(BEV)空间融合 LiDAR 和相机特征。
-
在线/无目标标定(Online/Targetless Calibration):
- CalibRefine(Python): 全自动、无目标、在线 LiDAR-相机标定框架。https://github.com/radar-lab/Lidar_Camera_Automatic_Calibration
- TLC-Calib(Python): 基于 3D 高斯表示的无目标 LiDAR-相机标定。https://zang09.github.io/tlc-calib-site
- Multi-LiCa(Python): 自动、无运动、无目标的 LiDAR-LiDAR 外参标定框架,支持 ROS2。https://github.com/TUMFTM/Multi_LiCa
- CaLiV(Python): 基于目标的 LiDAR-LiDAR 和 LiDAR-车辆标定,支持非重叠视场。https://github.com/TUMFTM/CaLiV
- Autoware Camera-LiDAR Calibrator(Python/C++): 提供基于手动点击对应点的外参标定工具。
- 其他方法: 一些 SLAM 系统(如 ORB-SLAM3、VINS-Fusion)或特定研究也包含在线标定或自标定功能。
请注意,许多先进的滤波和融合算法(尤其是基于深度学习的方法)需要特定的依赖库(如 PyTorch、TensorFlow、PCL、Open3D、ROS、Autoware)和数据集(如 KITTI、nuScenes、Waymo)才能运行和复现。建议详细阅读各代码库的 README 文件以了解具体的安装和使用方法。
7. 结论与未来方向
Section titled “7. 结论与未来方向”7.1. 挑战与现有解决方案总结
Section titled “7.1. 挑战与现有解决方案总结”3D LiDAR 在扫描高逆反射表面时面临的挑战主要源于这类表面将高强度激光能量集中反射回传感器的特性。这导致了三大类典型伪影:
- 强度饱和,引起波形失真和测距误差。
- 鬼影点/虚警,由多径反射或传感器内部串扰产生。
- 膨胀/光晕效应,使物体表观尺寸增大,影响形状识别。
这些伪影严重影响了自动驾驶、机器人等系统的感知精度和可靠性。
针对这些挑战,学术界和工业界已经探索了多种缓解策略,可以大致归纳为几个层面:
- 信号处理层面: 旨在从源头解决或补偿信号失真,如饱和波形重建/补偿和硬件级的自动增益控制(AGC)。
- 点云滤波层面: 在获取点云后进行后处理,识别并移除伪影点。包括基于强度的滤波、基于几何特征的离群点移除(SOR、ROR、聚类)、以及专门针对多径或串扰的滤波器。动态/自适应阈值技术提高了滤波对点云变化的适应性。
- 系统层面: 通过更高层次的方法来提高鲁棒性。精确的传感器标定(尤其是无目标在线标定)是保证数据一致性的基础。多传感器融合(特别是 LiDAR-相机和 LiDAR-IMU)利用信息互补性来验证数据、消除歧义和增强感知能力。基于深度学习的融合框架(如 BEVFusion、DeepFusion、PointPainting)代表了当前最先进的融合方法。
表 4:LiDAR 逆反射伪影缓解策略总结
| 策略类别 | 方法示例 | 目标伪影 | 核心原理 | 相对复杂度 | 鲁棒性潜力 |
|---|---|---|---|---|---|
| 信号处理 | 波形补偿 | 饱和测距误差 | 信号重建 | 高(需波形/硬件) | 高(若可行) |
| 点云滤波 | 几何滤波(SOR/ROR/聚类) | 稀疏鬼影/噪声 | 几何一致性/聚集性 | 低-中 | 中(依赖伪影特性) |
| 点云滤波 | 鬼影/串扰滤波 | 多径/串扰鬼影 | 特定模式识别/一致性检查 | 中-高 | 中-高(针对性强) |
| 标定 | 无目标在线标定 | (间接)融合误差/不一致性 | 特征/运动对齐 | 高 | 高(融合基础) |
| 多传感器融合 | LiDAR-相机融合(BEV/特征/点) | 多种伪影(通过上下文/验证) | 互补感知/交叉验证 | 极高(DL 模型) | 极高(SOTA) |
7.2. 当前局限与开放研究问题
Section titled “7.2. 当前局限与开放研究问题”尽管已有诸多进展,但在实际应用中完全消除高逆反射伪影仍面临挑战:
- 实时性与计算复杂度: 许多先进算法,如复杂的波形处理、基于优化的 SLAM/标定、以及深度学习融合模型,计算量巨大,在资源受限的嵌入式平台上实现实时处理仍有困难。
- 环境适应性: 现有方法的鲁棒性在面对多变的真实世界环境(如不同的天气条件、光照变化、以及不同类型和状态的逆反射体)时,仍需进一步验证和提升。
- 数据缺乏与评估标准: 缺乏专门针对 LiDAR 逆反射伪影的大规模、多样化、带有精确标注的数据集,这限制了数据驱动方法(特别是深度学习)的训练和评估。同时,也缺少统一的、量化的指标来评估不同伪影缓解算法的性能。
- 伪影的复合效应: 实际场景中可能同时出现多种伪影(如饱和点附近伴随串扰点),现有方法大多针对单一类型的伪影,如何有效处理复合伪影是一个难题。
- 传感器模型与仿真: 现有的 LiDAR 仿真模型大多未能准确模拟饱和、串扰、膨胀等伪影现象,这阻碍了在仿真环境中对算法进行有效测试和验证。
7.3. 未来潜在趋势
Section titled “7.3. 未来潜在趋势”未来研究可能集中在以下几个方向:
- 传感器硬件创新: 开发具有更高动态范围、更快响应速度 AGC、更智能的多脉冲发射/接收策略(以解决距离模糊和干扰)的新型 LiDAR 传感器。
- 先进 AI/ML 方法: 探索更强大的深度学习架构,如端到端学习直接从原始数据预测无伪影的点云或目标,利用自监督学习减少对标注数据的依赖,研究域适应技术以提高模型在不同传感器和环境下的泛化能力。
- 信号与点云处理的深度融合: 将底层的信号处理知识(如波形特征)与高层的点云几何、语义信息更紧密地结合,开发跨层次的伪影检测与校正方法。
- 利用新型 LiDAR 模态: 探索如调频连续波(FMCW)LiDAR 等新兴技术,它们能同时提供距离和速度信息,这可能为区分静态伪影和动态目标提供新线索(尽管 FMCW 本身也有其挑战)。
- 高保真仿真工具: 开发能够精确模拟各种 LiDAR 伪影(包括逆反射相关伪影)的仿真平台,以支持算法的开发、测试和验证。
总之,解决 3D LiDAR 在高逆反射表面上的测量问题是一个涉及传感器物理、信号处理、点云算法和系统集成的多层面挑战。虽然现有技术已取得显著进步,但仍需在硬件、算法、数据和评估方法上持续创新,以实现更安全、更可靠的自主系统感知能力。集成多模态信息的高分辨率 LiDAR 为未来的解决方案提供了有前景的硬件基础。