LiDAR 与生成式 AI 融合

1. 引言：激光雷达感知与生成式智能的交汇

三维感知技术，特别是激光雷达（LiDAR），在自主系统和机器人领域扮演着日益核心的角色。传统上，LiDAR 数据的处理主要依赖于经典计算机视觉算法和统计学方法。然而，随着深度学习的兴起，尤其是近年来生成式人工智能（Generative AI，GenAI）和大型语言模型（Large Language Models，LLMs）的爆发式增长，LiDAR 数据的解译与应用正经历一场深刻的范式变革。生成式 AI 为 LiDAR 技术带来了前所未有的机遇，尤其是在高保真度模拟、复杂交互理解以及新颖场景生成等以往极具挑战性的任务上，展现出巨大的潜力。

现代 LiDAR 系统已不再仅仅提供稀疏的三维坐标。它们能够输出包括强度（intensity）、标定反射率（calibrated reflectivity）、环境近红外（ambient Near-Infrared，NIR）图像以及多回波（multi-echo）在内的多模态数据流。这种数据丰富性的提升，为生成式模型学习更全面的环境表征创造了独特条件。例如，现代数字 LiDAR 技术能够提供可靠的强度、经过标定的反射率数据，以及环境近红外图像和多回波数据。这些丰富的数据输入使得生成式模型能够学习超越纯粹几何结构的环境细微差别，例如通过反射率推断材质属性，或通过多回波与近红外数据感知大气条件，从而直接提升生成结果的保真度和环境感知能力。

与此同时，生成式 AI，特别是扩散模型和大型语言模型的飞速发展，对更高级的 LiDAR 数据和处理技术产生了”拉动”效应，形成了一种协同反馈循环。生成式模型在图像、文本乃至三维数据合成与理解方面展现出前所未有的能力，使其在机器人和自动驾驶领域的应用潜力日益受到重视。然而，这些模型需要高质量、多样化且通常语义丰富的训练数据。这种需求推动了 LiDAR 制造商在传感器功能上的创新（例如片上专用信号处理芯片提升了数据质量），并激励研究人员开发更优的 LiDAR 数据处理管线，以满足这些强大生成式模型的需求。一方的成功促进了另一方的进步，这种融合并非简单地将现有 GenAI 技术应用于 LiDAR，而是共同推动两个领域的演进，以期为自主系统解锁更高水平的环境感知与交互能力。这预示着未来 LiDAR 传感器的设计可能会从一开始就将生成式 AI 的需求纳入考量。

本章对 LiDAR 技术与生成式 AI（包括变分自编码器 VAEs、生成对抗网络 GANs、扩散模型 Diffusion Models、神经辐射场 NeRFs、三维高斯溅射 3DGS）及大型语言模型 / 多模态大型语言模型（LLMs / MLLMs）的融合进行技术性、以算法为核心的综述。我们将优先讨论前沿工作、新颖的融合点以及优化策略，从技术方向而非行业应用分类的角度进行深入剖析，旨在为相关领域的研究人员和工程师提供一份关于算法、协同作用、挑战及未来研究轨迹的深度前瞻性分析。

2. LiDAR 数据特性：驱动生成式智能的燃料

现代 LiDAR 传感器提供的数据远不止稀疏的三维点云，其多模态特性为生成式 AI 提供了丰富的学习素材。理解这些数据特性及其对 AI 模型的影响至关重要。

2.1 超越几何：现代 LiDAR 数据的丰富性

2.1.1 点云（XYZ）

点云作为 LiDAR 的基础数据类型，提供了环境中物体的三维坐标。然而，其固有的稀疏性、不规则性和大规模性，既为生成式模型带来了挑战，也创造了机遇。生成式模型可以用于点云的补全、去噪、超分辨率以及直接生成。

2.1.2 强度（Intensity）

强度值反映了 LiDAR 接收到的回波信号强度，与目标的表面材质、距离、入射角以及大气衰减等多种因素相关。强度信息能够辅助目标检测和语义分割，例如区分道路标记和沥青路面。生成式模型可以学习合成带有合理强度值的点云，或利用强度信息提升生成场景的真实感。

2.1.3 标定反射率（Calibrated Reflectivity）

标定反射率旨在提供一种与距离和入射角无关的表面物理属性度量，通常以 8 位量化输出，用以表征目标在激光波长下的反射特性。这一特性对于 AI 模型至关重要，它有助于：

材质分类： 不同的材质具有不同的反射特性，标定反射率使 AI 能够更好地区分它们。
道路标记检测： 高反射率的道路标记与低反射率的路面形成对比。
领域自适应： 由于其物理意义更明确，有助于模型在不同传感器或环境间迁移。
改进语义分割： 一项研究表明，在 Rellis-3D 越野数据集上，使用标定反射率替代原始强度信息，可使语义分割的平均交并比（mIoU）提升约 4%。

从生成式 AI 的角度看，标定反射率使得模型能够学习并合成具有准确材质属性的场景，或为关注材质的感知任务生成增强数据。原始强度信息受距离和入射角影响，而标定反射率通过消除这些依赖，提供了更本质的表面特性。生成式模型若基于标定反射率进行训练，则能学习将特定反射率值与材质类型相关联，从而生成不仅几何正确、而且材质特征也合理的场景。这对于提升模拟的真实性和感知模型的领域自适应能力具有直接的因果关系，是 AI 理解物体”构成”而非仅仅是”形状”的关键一步。

2.1.4 环境近红外（Ambient NIR）图像

部分先进的 LiDAR 传感器能够直接输出与深度、强度信息在空间和时间上紧密关联的环境近红外图像。这些 NIR 图像捕捉了近红外光谱的环境光照，其优势在于：

视觉相似性： NIR 图像在视觉上接近可见光图像，使得为相机开发的深度学习算法有较高概率可以直接迁移应用。
弱光感知： 由于传感器对光子的高敏感性（例如基于单光子探测技术的架构），即使在弱光条件下也能采集到清晰的环境图像。
数据丰富性： DurLAR 数据集便是一个包含来自 128 线 LiDAR 的全景环境 NIR 图像的例子。

对于生成式 AI，环境 NIR 图像为多模态场景生成（深度 + NIR + 强度）、夜间场景模拟增强以及跨模态生成提供了新的可能性。

2.1.5 多回波 / 双回波（Multi-Echo / Dual Returns）

部分厂商提供的双回波 / 多回波模式（如记录最强和次强回波或按时序回波），对 AI 模型具有显著价值：

穿透遮挡物： 能够穿透雨、雾、灰尘、植被等部分遮挡物，探测到其后的目标。
点云加密： 提供更密集的点云数据。
噪声滤波： 有助于区分真实物体回波和由大气粒子或小障碍物产生的噪声回波。
复杂场景目标分辨： 在杂乱环境中提升对目标的辨识能力。

生成式 AI 可以利用多回波数据学习模拟天气对 LiDAR 的影响，为在恶劣条件下鲁棒感知的算法生成训练数据，或建模与半透明介质的复杂交互。

2.2 LiDAR 硬件革新对数据质量及生成式 AI 的影响

2.2.1 “雷视一体”架构

“雷视一体”（LiDAR-as-camera）概念，即从单一传感器单元输出类图像数据（强度、环境 NIR、反射率）以及深度信息。其核心优势在于这些多模态数据流之间天然的时空相关性，可大幅减少额外的外部标定。这对生成式 AI 意义重大，因为它简化了多模态生成模型的训练过程，为更丰富的场景生成提供了内在融合的数据。这种硬件层面的内在关联，直接降低了特定类型多模态生成式 AI 的软件复杂性。

2.2.2 片上信号处理芯片

新一代数字 LiDAR 普遍在专用集成电路（ASIC）上集成先进的信号处理技术。更高的光子灵敏度、更远的探测距离、更高的精度、更强的暗物体探测能力以及更高的点频，使得数据更纯净、更准确。更高质量的输入数据使得生成式模型能够学习生成更精细的细节、更大范围的场景，并基于这些数据训练出更鲁棒的感知模型。例如，更强的暗物体探测能力意味着生成模型可以更准确地在场景中生成此类物体；更高的精度则带来更锐利的生成点云。输入数据质量的提升直接促进了生成式 AI 输出质量和真实感的潜力提升。

2.2.3 传感器规格与 AI

高分辨率（如 128 线）、宽视场角（FOV）、优异的近距离感知能力以及强大的环境鲁棒性（高防护等级、宽工作温度范围），这些特性共同确保了 LiDAR 能够为训练鲁棒且通用的生成式模型提供独特、高质量的数据流，从而服务于机器人、自动驾驶、智能基础设施等多样化应用。

2.3 传统 LiDAR 处理：生成式 AI 的前置或补充

2.3.1 SLAM（同步定位与建图）

经典的 SLAM 算法，如基于 ICP 的各种变体、NDT、GICP 进行前端扫描匹配，以及基于图优化的后端和各种回环检测方法，其输出（精确的位姿轨迹、一致性的地图）可为生成式世界模型或场景生成任务提供高质量的真值或条件输入。LOAM 系列算法的持续创新以及与 IMU、相机等多传感器的融合，进一步提升了地图质量，为 AI 应用奠定了坚实基础。

2.3.2 语义分割

传统语义分割方法在非结构化环境中常常表现不佳。深度学习方法通过结合几何信息以及强度 / 反射率信息，显著提升了分割性能。生成式模型在此可以发挥作用，例如通过数据增强来扩充语义分割的训练集，或者直接学习生成带有语义标签的点云。

2.3.3 标定与数据融合

对于多传感器（如 LiDAR-相机、LiDAR-IMU）的生成式模型，精确的外部参数标定至关重要。“雷视一体”技术由于其内部数据流的固有空间相关性，可简化这一过程。

当前的技术趋势表明，LiDAR 传感器正从单纯的几何测量设备，演变为针对 AI 优化的复杂多模态数据采集系统。这种硬件与软件的紧密协同设计，即传感器功能的开发从初始阶段就充分考虑 AI 及生成式模型的需求，将加速该领域的整体进步。

3. LiDAR 数据的生成式模型：合成、增强与表征

本节系统回顾各类主流生成式模型，重点阐述其核心算法原理、针对 LiDAR 数据（点云、距离图像等）的具体适配方法、优缺点，并结合近期（主要为 2023—2025 年）文献中的关键实例进行分析。

3.1 概率潜空间模型：LiDAR 点云的变分自编码器（VAEs）

VAEs 通过将输入数据概率性地映射到一个低维潜空间并从中解码重构，从而实现数据生成。其核心组件包括编码器、解码器、潜空间以及证据下界（ELBO）损失函数（包含重构损失和 KL 散度）。

在 LiDAR 数据处理中，VAEs 被应用于点云生成、稀疏 / 遮挡 LiDAR 扫描的补全、异常检测以及学习解耦表征。针对点云的无序性和不规则性，发展出了多种 VAEs 架构，例如：采用一维卷积的 PC-VAE、结合归一化流的 PointFlow、部件感知的 EditVAE、基于注意力机制集合变换器的 SetVAE，以及处理多视角数据的 MAP-VAE。

VAEs 在处理 LiDAR 数据方面的优势在于能够生成多样化的样本，适用于数据增强，并且能学习到紧凑的数据表征。然而，其生成的样本在细节上往往不如 GANs 或扩散模型锐利，更侧重于捕捉全局结构而非 LiDAR 应用中至关重要的精细特征。优化方向包括分层 VAEs、引入更强的注意力机制以适应点云结构，以及针对 LiDAR 特定属性（如强度、反射率）设计的 VAEs。

3.2 对抗学习：生成对抗网络（GANs）驱动的真实感 LiDAR 数据

GANs 的核心机制在于一个生成器网络和一个判别器网络的相互博弈。生成器致力于伪造数据，而判别器则努力区分真实数据与伪造数据。

针对 LiDAR 数据，GANs 的应用包括：

生成逼真的 LiDAR 点云，无论是完整的扫描场景还是特定的物体。
领域自适应，例如 LiDAR 数据的仿真到真实（sim-to-real）转换。
跨模态转换，如图像到 LiDAR 或 LiDAR 到图像的转换（例如 Points2Pix 模型用于点云到图像的转换）。
I-PAttnGAN 是一个结合了 GAN、VAE 和归一化流（NF）的图像辅助点云生成网络，特别设计了针对稀疏区域的注意力机制。

GANs 在 LiDAR 应用中的强项是能够生成清晰、高保真度的样本，并有效捕捉复杂的数据分布。然而，其训练不稳定（如模式崩塌）、生成样本多样性不足以及处理稀疏大规模 LiDAR 数据等问题仍是挑战。主要的优化和新颖之处包括：使用条件 GANs（cGANs）进行可控生成、改进损失函数（如 Wasserstein GAN）、引入注意力机制以及渐进式训练策略。

3.3 去噪扩散概率模型（DDPMs）与重整流（Rectified Flows）：高保真 LiDAR 生成的前沿

DDPMs 通过一个参数化的马尔可夫链，在前向过程中逐步向数据添加噪声，然后在反向过程中学习从噪声中恢复数据，从而实现数据生成。而重整流则学习噪声与数据之间的直接（线性）轨迹，相比传统扩散模型，能以显著更少的采样步骤生成数据。

这些模型在 LiDAR 数据生成领域展现出强大能力：

能够生成高保真度的 LiDAR 点云，包括物体级别和完整场景级别。
支持条件生成，例如根据类别、角度、距离或场景布局进行定制化生成。
LOGen 是一款基于 Transformer 的扩散模型，专为生成 LiDAR 物体扫描（包含强度信息）而设计，可根据物体类别、视角和距离进行条件控制，直接在三维点上操作。
R2Flow 利用重整流和针对 LiDAR 距离 / 反射率图像的 Transformer 架构，实现了快速 LiDAR 数据生成。
其他研究方向包括在距离图像上应用扩散模型、直接在三维点云上应用扩散模型，以及结合图像信息进行条件生成。
扩散模型也被用于 LiDAR 场景下的地点识别，有效处理感知混淆问题。

DDPMs 和重整流在 LiDAR 数据生成方面的主要优势在于其顶尖的生成质量、样本多样性以及训练的稳定性。特别是重整流，显著提升了采样效率。然而，DDPMs 的推理过程通常计算量较大（需要多步迭代，尽管 R2Flow 对此有所改进）。处理极其稀疏的 LiDAR 数据或超大规模场景仍然具有挑战性，同时，用于训练的大规模、多样化的三维 LiDAR 数据集也相对匮乏。优化方向和新颖点包括：为点云或距离图像设计的 Transformer 架构、无分类器指导（classifier-free guidance）、高效采样策略以及潜空间扩散模型。

3.4 神经辐射场（NeRFs）与三维高斯溅射（3DGS）：LiDAR 模拟的隐式与显式神经表征

NeRFs 将场景表示为一个连续的体积函数（通常是一个多层感知机 MLP），该函数将五维坐标（空间位置 $x,y,z$ 和观测方向 $\theta,\phi$ ）映射到该点的体密度 $\sigma$ 和与视角相关的辐射亮度 $c$ ，通过体渲染技术合成图像：

$F_\theta:(\mathbf{x},\mathbf{d})\rightarrow(c,\sigma)$

而 3DGS 则将场景表示为一组三维高斯基元，每个基元具有位置、协方差、颜色和不透明度等属性，通过高效的光栅化方法进行图像渲染。

在 LiDAR 模拟和场景生成中的应用包括：

为自动驾驶等应用生成新视角的图像和完整的三维场景，用于仿真测试。
NeuRadar 是一个基于 NeRF 的模型，用于联合生成相机图像、LiDAR 点云和雷达点云。
LiDAR-NeRF / NFL 提出了可微分的 LiDAR 新视角合成框架，能够同时重建深度、强度和光线衰减概率。
UniSim 和 LiDAR4D 是基于 NeRF 的方法，用于包括 LiDAR 在内的动态场景模拟。
高斯溅射 被用于统一相机和 LiDAR 在动态驾驶场景中的模拟，能够处理刚性和非刚性动态目标。
基于 NeRFs / 3DGS 的主动式场景重建方法，如 HGS-Planner。

NeRFs 和 3DGS 在 LiDAR 应用中的优势在于能够实现高保真的照片级渲染，NeRF 提供连续的场景表示，而 3DGS 则具有快速渲染和显式几何的特点，非常适合从真实世界日志创建仿真环境。其局限性在于 NeRFs 的训练和渲染速度可能较慢（尽管 3DGS 在这方面有显著改进）。处理超大规模场景或动态元素仍然复杂。直接生成稀疏的 LiDAR 点模式（而非稠密的深度图）需要特定的模型调整。此外，使用稀疏输入视图训练 NeRFs 也是一个挑战。优化方向包括混合表示、将场景分解为静态 / 动态组件、高效的数据结构（如 NeRF 的哈希网格）以及适配 LiDAR 光束模式和特性（如光线衰减、强度）的渲染方法。

3.5 生成式模型应用于 LiDAR 数据的算法挑战与优化策略

将生成式模型应用于 LiDAR 数据面临一系列特有的算法挑战：

稀疏性与不规则性： LiDAR 点云通常稀疏且分布不均。
- 策略： 基于点的网络（如 PointNet、直接处理点的 Transformer）、体素化（需权衡分辨率）、投影到距离图像或鸟瞰图（BEV）。
规模与计算成本： 大型室外环境导致数据集庞大，模型计算密集。
- 策略： 分层方法、高效模型架构（如 R2Flow）、潜空间扩散、模型压缩。
捕捉长程依赖与精细细节： 对真实感 LiDAR 模拟至关重要。
- 策略： Transformer 架构、注意力机制、渐进式生成。
特定场景 / 物体数据稀缺：
- 策略： 迁移学习、少样本生成技术、利用合成数据进行预训练。
融入 LiDAR 特有物理 / 特性： 如光束发散、多径反射、材质交互（反射率）。
- 策略： 物理信息神经网络、显式建模传感器噪声和伪影、基于传感器参数的条件生成。

在 LiDAR 数据处理中，一个明显的趋势是越来越多地采用基于 Transformer 的架构（例如 LOGen 和 R2Flow），这贯穿于不同的生成模型家族（尤其是扩散模型），无论是处理原始点云还是投影图像。LiDAR 数据，特别是点云，本质上是点集，其中点与点之间的关系和上下文信息至关重要。Transformer 凭借其自注意力机制，能够有效捕捉序列或集合数据中的长程依赖和上下文关系，使其成为理解 LiDAR 扫描中全局结构和局部细节的理想选择，并在许多三维任务中超越了传统的卷积神经网络。

生成质量 / 保真度与计算效率（尤其是推理速度）之间的权衡是该领域的核心主题，这推动了诸如重整流等创新，以及 3DGS 相对于传统 NeRF 在实时应用中更具吸引力的原因。尽管扩散模型达到了顶尖的生成质量，但其迭代采样过程缓慢。而 LiDAR 在自动驾驶等应用中对实时性能有迫切需求。这种不匹配促使研究人员探索更快的生成模型：重整流旨在以更少的步骤达到相似的质量；3DGS 则以远快于 NeRF 的渲染速度提供类似 NeRF 的质量，使其在交互式模拟中更具可行性。

此外，条件控制对于 LiDAR 生成结果的实用性日益重要，从无条件生成转向允许控制特定物体类别、姿态、环境条件乃至文本提示的生成。无条件的 LiDAR 数据生成用途有限，对于数据增强或模拟等实际应用，对生成内容的控制至关重要。像 LOGen 这样的工作明确支持基于类别、角度和距离的条件生成，LidarDM 则基于布局进行条件控制。这一趋势反映了该领域的成熟，目标是生成更有针对性、更有用的合成 LiDAR 数据。

表 1：LiDAR 数据处理的生成式 AI 架构对比分析

生成模型家族	核心算法原理	LiDAR 数据适用性（点云生成 / 补全 / 模拟，表征类型）	关键优势	固有局限性	代表性实例	主要优化方向
VAEs	概率潜空间映射，ELBO 优化	点云生成、补全、异常检测；学习紧凑表征（点 / 体素）	生成多样性、数据增强、表征学习	生成细节相对模糊，全局优于局部	PC-VAE、PointFlow、EditVAE、SetVAE、MAP-VAE	分层结构、注意力机制、特定属性建模
GANs	生成器与判别器对抗学习	真实感点云 / 场景生成、领域自适应、跨模态转换（点 / 图像）	生成样本锐利、高保真	训练不稳定、模式坍塌、多样性不足	Points2Pix、I-PAttnGAN	条件 GANs、改进损失函数、注意力机制
Diffusion Models / Rectified Flows	迭代去噪（DDPMs）/ 直接轨迹学习（Rectified Flows）	高保真点云 / 场景 / 物体生成、条件生成（点 / 距离图像）	SOTA 生成质量与多样性、稳定训练；Rectified Flows 提高效率	DDPMs 推理慢（R2Flow 改进），大规模稀疏数据处理仍有挑战，训练数据匮乏	LOGen、R2Flow、LidarDM	Transformer 架构、高效采样、潜空间扩散
NeRFs	连续体积神经表征，体渲染	新视角合成、场景模拟（隐式场）	高保真照片级渲染、连续表征	训练与渲染慢、大规模 / 动态场景复杂、稀疏输入挑战	LiDAR-NeRF、NeuRadar、UniSim	混合表征、高效数据结构、LiDAR 特性渲染
3D Gaussian Splatting（3DGS）	3D 高斯基元集合，光栅化渲染	场景模拟、新视角合成（显式几何）	快速渲染、高保真、显式几何	大规模 / 动态场景复杂性（相对 NeRF 有改进）	高斯溅射用于自动驾驶仿真	动态场景建模、与 LiDAR 特性结合

4. 大型语言模型（LLMs）与多模态大型语言模型（MLLMs）赋能 LiDAR 中心场景认知

大型语言模型（LLMs）和多模态大型语言模型（MLLMs）正被越来越多地集成到 LiDAR 数据处理流程中，以实现更高层次的场景理解、推理和交互。

4.1 跨越模态：集成 LiDAR 特征与 LLMs / MLLMs 的架构

核心挑战在于将非语言的、高维的 LiDAR 数据（如点云、鸟瞰图 BEV、体素栅格）转换为 LLMs / MLLMs 能够”理解”并进行推理的格式。

LiDAR 数据编码方法：

基于点的编码器： 利用 PointNet、PointNet++ 或 Point Transformers 等架构直接处理原始点云并提取特征。
基于体素的编码器： 将点云转换为体素栅格，并使用 3D CNN（如 VoxelNet）提取特征。
鸟瞰图（BEV）投影： 将 LiDAR 点云投影到二维 BEV 网格上，通常会加入高度或强度等信息，然后使用 2D CNN 或 Transformer 进行处理。

对齐模块与融合策略：

简单的投影层（MLPs）： 将 LiDAR 特征直接映射到 LLM 的嵌入空间。
交叉注意力机制： 用于融合 LiDAR 特征与文本嵌入。
PF3Det： 该模型利用基础模型编码器（如 CLIP 的编码器）获取对齐的图像特征，并使用可学习的”软提示”（soft prompts）来增强 LiDAR 与相机特征在 BEV 阶段的融合，以用于三维物体检测。这展示了如何使用提示工程来引导融合过程。
LiDAR-LLM： 采用位置感知 Transformer（Position-Aware Transformer，PAT）连接三维体素编码器（VoxelNet）与 LLM，将 BEV 特征对齐到 LLM 的语义空间，以执行三维场景描述生成和三维目标定位等任务。

提示工程（Prompt Engineering）： 设计有效的提示语，以引导 LLMs 基于 LiDAR 提供的上下文信息进行期望的推理或信息提取。

4.2 语言增强的三维感知与场景理解

4.2.1 基于 LiDAR 的三维场景描述生成与视觉问答（VQA）

LLMs 能够根据处理后的 LiDAR 数据生成关于三维场景或物体的自然语言描述，例如”前方 20 米靠右位置停着一辆车”。同时，它们也能回答关于 LiDAR 场景的问题，例如”是否有行人正在过马路？“。LiDAR-LLM 项目展示了在室外 LiDAR 数据上进行三维场景描述生成和三维问答的能力。

4.2.2 基于 LiDAR 和语言的三维目标定位（3D Grounding）

该任务要求根据文本描述在 LiDAR 扫描数据中定位特定的物体或区域。LiDAR-LLM 在有定位信息的场景描述生成任务上取得了 63.1% 的准确率。

4.2.3 MLLMs 赋能三维空间推理与关系理解

MLLMs 能够理解 LiDAR 数据中识别出的物体之间复杂的空间关系，例如”自行车在停放的卡车左侧，公交站后方”。MM-Spatial 项目探索了 MLLMs 在三维空间理解方面的能力，它利用大规模三维场景数据，并结合度量深度信息（来自传感器的深度，如 LiDAR 融合的深度，或估计的深度）和多视角输入来提升三维理解能力（包括相对深度、度量距离 / 尺寸估计、三维目标定位）。OCC-MLLM-CoT-Alpha 则专注于利用 MLLMs 结合三维感知监督和思维链（Chain-of-Thought）进行遮挡物体推理，这对于 LiDAR 数据中常见的遮挡问题具有潜在应用价值。

4.2.4 开放词汇三维物体检测 / 分割

利用 LLMs 庞大的词汇库，结合文本描述或类别名称，在 LiDAR 数据中检测或分割训练时未见过的物体类别。基础模型（Foundation Models）正使得这种能力在多模态输入下成为可能。

4.3 LLM 驱动的、利用 LiDAR 输入的端到端系统与世界模型

4.3.1 面向自动驾驶的世界模型

世界模型旨在学习一个环境模型，用以预测未来状态并规划行动。LiDAR 数据（点云、占据栅格图）被用作构建这些世界模型的输入。使用 LiDAR / 点云作为输入的模型实例包括：SEM2（输入图像、点云，输出图像、点云、掩码）、Copilot4D（输入点云，输出点云）、MUVO（输入图像、点云，输出图像、占据栅格、点云）、LidarDM（输入布局，输出点云）、UnO（输入点云，输出占据栅格）、BEVWorld（输入图像、点云，输出图像、点云）、HoloDrive（输入图像、点云，输出图像、点云、深度）、AD-L-JEPA（输入点云，输出潜状态）、HERMES（输入图像，输出点云，受文本、动作条件约束）。这些模型的生成方面通常涉及预测未来的传感器数据（包括 LiDAR）或占据状态。

4.3.2 基于 LLMs 的端到端自动驾驶

这类系统将感知、推理和控制集成到单一框架中，通常由 LLMs 承担推理的核心角色。

DSDrive 是一个轻量级的端到端自动驾驶框架，它使用一个紧凑型 LLM，通过知识蒸馏处理多模态输入，进行显式推理和闭环规划。
DriveGPT4、ADAPT、DriveMLM 等是基础模型在端到端自动驾驶中的应用实例，它们处理传感器输入（可能包括 LiDAR）以生成控制信号和解释。
一个显著的挑战是如何在计算密集型 LLMs 的约束下实现实时决策。

4.3.3 机器人任务规划

LLMs 可用于高级别的任务规划，其中 LiDAR 提供环境上下文信息。例如 SAFER 框架是一个用于安全感知任务规划的多 LLM 框架。

4.4 LLM / MLLM 与 LiDAR 集成的算法创新与挑战

数据稀缺性： 缺乏大规模、对齐的 LiDAR-文本数据集用于训练 MLLMs。
- 缓解方法： 利用现有的二维 MLLMs、合成数据生成、自监督学习。
模态差异： 连续的三维空间数据（LiDAR）与离散的序列文本之间存在根本差异。
- 架构调整： 需要专门的编码器、注意力机制和对齐模块（如 4.1 节所述）。
计算强度： LLMs 模型庞大且计算昂贵，对实时机器人 / 自动驾驶应用构成挑战。
- 优化方法： 模型压缩（蒸馏、剪枝、量化）、高效注意力机制、紧凑型 LLMs（如 DSDrive）。
可解释性： 理解 LLMs 如何基于 LiDAR 输入做出决策。
- 途径： 思维链推理、为行动生成文本解释。
处理模糊性与不确定性： LiDAR 数据可能包含噪声且不完整，LLMs 需要在这种不确定性下进行推理。
语言在物理现实中的锚定： 确保 LLM 的输出在 LiDAR 感知的环境上下文中是物理上合理且可执行的。

LLMs 与 LiDAR 的集成正从简单的物体标记向复杂的空间推理和交互演进，这实质上是赋予机器人和自动驾驶汽车对其三维世界一种”认知层面”的理解。早期的多模态系统主要关注”是什么”（物体检测 / 分类），而 LLMs 凭借其强大的推理能力，使得系统能够理解物体在三维空间中”如何”关联，“为什么”在 LiDAR 感知的场景下某种行为是恰当的，以及”如果……会怎样”的情景。这种从感知到认知的转变是一个主要趋势，其中 LiDAR 提供了关键的几何基础。

鸟瞰图（BEV）表示正成为融合 LiDAR 数据与其他模态（尤其是相机数据）的关键中间表示，之后再输入 LLMs / MLLMs 进行下游任务处理。LiDAR 点云稀疏且不规则，而相机图像提供丰富的纹理但缺乏明确的三维信息。BEV 提供了一个统一的二维空间网格，来自两种传感器的信息都可以在此投影和对齐。这种通用表示简化了像 Transformer 和 LLM 这类复杂模型的输入。BEVFusion 等方法的成功，以及在 LiDAR-LLM 和 Talk2BEV 中对 BEV 特征的使用，都凸显了这一趋势。

“提示工程”和”基础模型辅助”（如 PF3Det 中所示）正成为将预训练大型模型高效应用于 LiDAR 特定任务的关键技术，尤其是在标记 LiDAR 数据有限的情况下。基础模型（如 PF3Det 中使用的 CLIP 编码器）提供了强大的通用特征，软提示和其他提示工程技术使得这些预训练模型能够以远少于完全微调所需的数据和计算量，被”引导”或微调至特定的下游任务。

未来，LLMs 不仅会被动地描述 LiDAR 场景，还将主动参与感知循环，可能引导传感器融合、请求更多信息（主动感知），并为基于 LiDAR 数据的行动提供人类可理解的理由。这推动了自主系统中更具协作性和可解释性 AI 的发展。

表 2：LLMs / MLLMs 与 LiDAR 数据集成策略及能力对比

集成方法 / 论文	核心架构	LiDAR 数据输入	LiDAR 特征编码器	与语言的融合 / 对齐机制	主要任务	关键创新 / 性能
LiDAR-LLM	LLaMA	原始 LiDAR 点云（经 VoxelNet 处理）	VoxelNet	位置感知 Transformer（PAT）将 BEV 特征对齐到 LLM 语义空间	3D 场景描述、3D 目标定位、3D 问答	3D 描述 BLEU-1 40.9，定位准确率 63.1%，BEV mIoU 14.3%
PF3Det	基础模型编码器（如 CLIP）	LiDAR 点云（与相机图像融合）	融合图像特征	基础模型编码器提取对齐图像特征，多模态软提示适配器增强融合	3D 物体检测	在 nuScenes 上少量数据训练即达 SOTA
MM-Spatial	通用 MLLM	度量深度（传感器融合深度或单目估计），多视角图像	通用 MLLM 融合	通用 MLLM 融合机制	3D 空间理解（关系预测、度量估计、3D 定位）	在多个 3D 空间理解基准上达 SOTA
DSDrive	紧凑型 LLM（如 LLaMA-1B）	多模态输入（含 LiDAR 衍生的场景表征）	未详述	知识蒸馏赋能紧凑型 LLM	端到端自动驾驶（显式推理与闭环规划）	在 CARLA 中性能媲美大型模型，计算效率高
Talk2BEV	MLM	BEV 图（可由 LiDAR 生成）	BEV 特征提取器	MLM 为 BEV 图中的物体生成文本描述	自然语言查询 BEV 图，视觉与空间问答	无需重训练即可响应查询
世界模型（如 Copilot4D、MUVO、BEVWorld、HERMES）	多样（Diffusion、Transformer、RNN）	LiDAR 点云 / 占据栅格	专用编码器	模型内部生成 / 预测机制	场景预测、动态建模、端到端驾驶	生成未来 LiDAR 观测或占据状态

5. 高级协同：LiDAR 与生成式 AI / LLM 应用的技术深度剖析

本节深入分析 LiDAR 与生成式 AI / LLMs 的融合如何在特定应用领域实现高级功能并解决复杂问题，重点关注其中的算法协同效应。

5.1 面向鲁棒 LiDAR 感知的生成式数据增强

问题背景： 在训练鲁棒的 LiDAR 感知模型（如物体检测、语义分割）时，往往缺乏多样化、具有挑战性以及包含安全关键场景的真实数据。

生成式解决方案：

物体级别增强： 生成 LiDAR 扫描中各类物体（如车辆、行人）的新实例，并将其逼真地插入到现有场景中。例如，LOGen 能够根据类别、角度和距离等条件生成特定物体的 LiDAR 扫描数据。
场景级别增强： 生成全新的、合理的 LiDAR 场景，或对现有场景进行显著修改。LiDAR-EDIT 通过在真实场景中编辑物体布局来实现可控的场景生成，利用生成模型填充原始扫描中被遮挡或未见部分的背景，并通过球面体素化强制 LiDAR 投影几何的正确性。
真值增强（GT-Aug）： 利用真实的边界框（GT bboxes）信息来增加场景中物体的密度。其原理可由 4D 雷达数据迁移至纯 LiDAR 数据增强。
点云重组（Point Cloud Recombination）： 通过将在受控实验室环境中测量的物理目标物体的点云数据，系统地整合到已捕获的点云场景中，实现真实场景的增强。

算法核心：

确保增强数据的物理合理性和几何一致性。
保持 LiDAR 特有属性（稀疏性、噪声、强度 / 反射率分布）的真实感。
生成过程的可控性（例如，特定的天气条件、物体配置）。

影响： 提升下游感知模型（尤其针对罕见事件和边缘案例）的鲁棒性和泛化能力。

5.2 生成式 AI 驱动的高保真仿真环境

需求： 为测试和验证自动驾驶及机器人系统，需要可扩展、逼真且可控的仿真环境。传统图形引擎生成的环境与真实世界之间可能存在领域差异（sim-to-real gap）。

LiDAR 仿真的生成式解决方案：

NeRFs 与 3DGS： 从真实世界的传感器日志（包括 LiDAR）生成照片般逼真的场景，用于新视角合成和传感器模拟。
- LiDAR-NeRF、NFL、UniSim、LiDAR4D 等模型可模拟 LiDAR 数据（深度、强度、光线衰减概率）。
- NeuRadar 利用 NeRFs 联合生成相机、LiDAR 和雷达数据。
- 高斯溅射技术被用于高效、高保真地模拟动态驾驶场景中的相机和 LiDAR 数据，包括可移动的实体。
扩散模型与重整流： 直接生成 LiDAR 距离 / 反射率图像或点云。
- R2Flow 用于快速 LiDAR 数据生成。
- LidarDM 可根据布局条件生成点云。
世界模型： 能够预测未来 LiDAR 观测的生成式世界模型，例如 Copilot4D、MUVO、BEVWorld、HoloDrive、HERMES。

算法核心：

精确建模 LiDAR 传感器物理特性（光束模式、噪声模型、材质交互）。
生成包含移动智能体和逼真行为的动态场景。
确保生成序列的时间一致性。
通过场景参数、物体布局或文本描述实现可控生成。

影响： 实现大规模、低成本、安全的 AI 算法测试；促进仿真到真实的迁移学习。

5.3 数字孪生：LiDAR 与生成式 AI 共筑动态交互式环境复制体

概念： 创建物理资产、流程或环境的动态虚拟副本，并通过实时数据进行更新。

LiDAR 的角色： 提供精确的三维几何数据，用于数字孪生模型的初始构建和实时更新。例如，车载机器人利用 LiDAR 数据在其数字孪生中构建地图。

生成式 AI 的角色：

通过生成逼真的细节、纹理和行为来增强数字孪生的保真度。
在数字孪生中模拟”假设”场景并预测未来状态。
自主生成城市数据（例如，利用 GANs 生成建筑轮廓）以填充数字孪生。
基于多模态 LiDAR 与 AI 创建交叉口的实时三维数字交通孪生。

算法核心：

LiDAR 数据与数字孪生的实时融合。
用于动态更新和行为建模的生成式模型。
利用 AI 优化参数并确保模型保真度。

影响： 改进监控、控制、预测性维护、城市规划，并在虚拟化的真实世界情境中进行培训。

5.4 利用生成式模型挖掘 LiDAR 独特数据通道的潜力

5.4.1 标定反射率用于材质感知的生成与感知

生成式模型可以学习合成具有物理上合理的反射率值的场景，从而支持下游任务，如材质分类或在挑战性条件下改进语义分割。论文《Reflectivity Is All You Need!》表明，使用标定反射率可以提高语义分割性能（在 Rellis-3D 数据集上 mIoU 提升约 4%），并有潜力用于跨传感器领域自适应以及增强基础模型对反射率数据的处理能力。

5.4.2 环境 NIR 图像用于多模态生成式场景理解

生成式模型可以利用深度、强度和环境 NIR 的组合信息来创建或解译场景。这为生成逼真的日夜转换效果或通过生成合理的 NIR 外观来改善弱光条件下的感知提供了可能性。

5.4.3 多回波数据用于遮挡 / 天气感知的生成式模型

生成式模型可以学习基于多回波模式模拟遮挡物（如雨、雾、植被）的影响。这有助于为那些设计用于看透此类遮挡物的感知算法生成训练数据。

算法核心： 设计能够有效建模并利用这些独特的 LiDAR 数据通道的生成式架构，可能通过在生成过程本身中进行多模态融合来实现。

5.5 生成式 AI 用于 LiDAR 异常检测与数据增强

问题背景： 识别 LiDAR 数据中的异常模式、传感器噪声或分布外物体。

生成式解决方案：

在正常 LiDAR 数据上训练 VAEs / GANs 进行重构；高重构误差指示异常。
利用扩散模型学习正常数据的分布。
量子机器学习用于异常检测，包括量子 GANs（QGANs，对一般 LiDAR 应用而言更具未来性）。
基于深度学习的点云增强方法（去噪、补全、上采样）可视为生成式建模的前置或补充步骤，用于准备更干净的数据。

算法核心： 无监督或自监督学习、复杂数据分布建模、实时异常评分。

影响： 提高数据质量，通过检测意外危险或传感器故障来增强安全性。

生成式 AI 的应用正从单纯创造”更多”数据（数据增强）转向创造”更智能”的数据——这些数据是可控的，针对特定挑战（如罕见事件、恶劣天气），并通过对 LiDAR 细微特性的建模而更具真实感。早期的数据增强通常是简单的几何变换，而生成式模型（如 LOGen 和 LiDAR-EDIT）允许进行语义级别（添加特定物体类型）和外观级别（模拟传感器噪声或反射率）的增强。这种从数量到”质量和相关性”的转变，对于训练更鲁棒、更可靠的感知系统至关重要。

“数字孪生”概念是一个强大的统一应用驱动力，它完美结合了 LiDAR（精确的真实世界感知）和生成式 AI（模拟、预测和与虚拟副本交互的能力）。数字孪生需要精确复制物理系统 / 环境，LiDAR 提供高保真三维数据来构建和更新孪生的几何骨架，然后生成式 AI 用动态行为填充这个孪生，模拟未观察到的部分，预测未来状态，并允许交互式场景测试。

目前，大多数主流三维数据生成模型主要关注几何（XYZ）和强度信息，而来自先进 LiDAR 的独特数据通道（如标定反射率、环境 NIR、多回波）尚未得到充分利用。专门研究能够明确建模和利用这些通道的生成式架构，可能会在特定任务（如材质感知场景生成或全天候模拟）中释放显著的性能提升。例如，一个能够为有雾条件生成逼真多回波 LiDAR 数据的生成模型，对于训练自动驾驶汽车将具有不可估量的价值。

表 3：高级 LiDAR-GenAI 应用的算法协同分析

应用领域	采用的特定生成算法 / 技术	利用的关键 LiDAR 数据方面	融合中的算法贡献 / 新颖性	报告的影响 / 性能增益	当前局限性及未来算法需求
生成式数据增强	条件扩散模型（如 LOGen），可控场景编辑（如 LiDAR-EDIT）	点云几何、强度、物体类别、场景布局	生成特定类别、姿态、位置的物体；填充遮挡；保持几何一致性	提升下游感知模型对罕见物体的检测率和鲁棒性	生成数据的真实性与多样性平衡；高效生成大规模场景
高保真仿真	NeRFs / 3DGS（如 LiDAR-NeRF、NeuRadar），扩散模型 / 重整流（如 R2Flow）	原始点云、强度、反射率、传感器位姿	从真实数据生成可交互仿真环境；模拟传感器特性；动态场景生成	提供可扩展、低成本的测试平台；加速 Sim2Real	动态元素建模复杂度；实时渲染大规模场景的效率；传感器物理特性精确建模
数字孪生	GANs（城市数据生成），AI 驱动的实时 3D 孪生	实时 LiDAR 扫描、历史数据、多模态数据流	物理世界的精确几何复制；动态行为生成与预测；实时数据驱动更新	改善城市交通管理、工业流程监控、预测性维护	大规模环境的实时同步与更新；复杂交互行为的真实模拟
反射率感知场景理解	深度学习模型结合标定反射率	标定反射率、几何信息	将反射率作为额外输入通道或学习目标	提升语义分割 mIoU；增强材质辨识	标定反射率的准确性与一致性；生成模型对反射率的精确建模

6. 未来轨迹：新兴算法、优化前沿与开放挑战

LiDAR 与生成式 AI / LLMs 的融合展现出巨大潜力，但其发展仍面临诸多挑战并孕育着新的研究方向。

6.1 迈向 LiDAR 感知的原生基础模型

当前多数基础模型主要集中在视觉-语言或纯语言领域。尽管部分模型正被调整以适应 LiDAR 数据（例如 PF3Det 使用 CLIP 编码器，LiDAR-LLM），但真正意义上基于海量、多样化 LiDAR 数据预训练的基础模型仍然缺失。构建这类模型面临的挑战包括大规模 LiDAR 数据的采集与标注，以及针对 LiDAR 数据特性（稀疏性、三维本质、多模态数据流）设计有效的自监督预训练任务。其机遇在于，这样的模型能够内在地理解 LiDAR 的几何结构、传感器噪声模式以及多模态数据（深度、强度、反射率、环境近红外、回波）之间的关联。未来的”世界模型”有望发展成为真正的 LiDAR 原生基础模型。

6.2 面向端侧 LiDAR 处理的实时、高效、可扩展生成算法

当前最先进的生成模型（尤其是扩散模型）通常对于实时、车载部署而言速度过慢。优化方向包括：

通过知识蒸馏将大模型压缩为更小、更快的模型（例如 DSDrive）。
采用量化和剪枝等模型压缩技术。
硬件-软件协同设计：开发针对稀疏三维卷积和生成操作优化的 AI 加速器。
进一步研究如 R2Flow 这样的一次性或少步生成模型。

对实时性能的追求可能会导致生成模型架构的多样化，针对边缘部署的高度优化、可能专用化的模型将与用于离线数据生成和仿真的更大型、更强大的云端模型并存。

6.3 融合生成先验的新型多传感器融合算法

当前的多传感器融合方法通常基于几何信息或早 / 晚期特征融合。引入生成先验，即利用生成模型学习关于不同传感器模态（LiDAR、相机、雷达）如何关联并表征世界的强大先验知识，是一个有前景的方向。例如，生成模型可以”想象”给定 LiDAR 扫描后相机视图应有的样子（反之亦然），从而帮助解决融合过程中的模糊性或填补缺失数据。NeuRadar 项目展示了相机、LiDAR 和雷达数据的联合生成能力。此外，利用 LLMs / MLLMs 根据上下文理解来指导融合过程也是一个重要的研究方向。

6.4 LiDAR-GenAI 系统的安全性、可靠性与可解释性

安全性： 确保用于训练 / 仿真的生成数据不会引入有害偏见或遗漏关键安全场景；验证包含生成组件的系统的安全性。
可靠性： 系统对分布外输入、传感器噪声以及针对 LiDAR 数据或生成模型的对抗性攻击的鲁棒性。
可解释性： 理解生成模型为何产生特定输出，或 LLM 如何基于 LiDAR 输入进行推理。LLMs 在应用于安全关键的驾驶决策时可能出现的”幻觉”是一个严峻挑战。

安全性与可靠性并非附加功能，而将成为 LiDAR 场景下生成式 AI 算法（尤其在自动驾驶领域）的核心设计考量。这将推动对新的算法验证、确认以及不确定性量化方法的需求。

6.5 物理感知与交互式生成模型

未来的生成模型需要从纯粹的数据驱动向融合物理规律（如车辆动力学、光与材质的交互以精确模拟 LiDAR 特性）的方向发展。同时，开发允许人类用户与生成的 LiDAR 场景进行交互和编辑的生成模型（例如 LiDAR-EDIT）也将增强其实用性。

6.6 面向 LiDAR 的量子生成模型（前瞻性探索）

尽管尚处于非常初期的阶段，量子 GANs（QGANs）已被提及用于异常检测。未来，量子计算的进步可能为 LiDAR 数据生成带来全新的、目前难以想象的生成能力。

LiDAR 与生成式 AI 的融合正在推动自主系统感知、理解和预测能力的边界。然而，在现实世界应用中安全可靠地实现这一潜力，需要研究人员在开发专用基础模型、高效算法和鲁棒验证框架方面协同努力。该领域需要从”我们能否生成它？“转向”我们能否信任我们生成的内容及其学习结果？”

7. 结论

7.1 算法进展与变革潜力回顾

本章系统梳理了 LiDAR 技术与生成式 AI 及大型语言模型融合的前沿进展。我们深入探讨了各类生成技术（VAEs、GANs、Diffusion Models、NeRFs / 3DGS、LLMs / MLLMs）的核心算法及其在处理、理解和综合 LiDAR 数据方面的演进角色。分析表明，这种融合正从简单的数据增强，迈向支持复杂的仿真环境构建、认知层面的场景理解，乃至端到端的自主功能实现。LiDAR 提供的丰富多模态数据，如点云几何、强度、标定反射率、环境近红外图像和多回波信息，为生成式模型学习更细致、更全面的世界表征提供了前所未有的机遇。

7.2 LiDAR 感知与生成式 AI 的共生演化

LiDAR 硬件的革新（带来更高质量的数据输出）为生成式模型提供了更优质的”燃料”，使其能够生成更逼真、更精细的虚拟世界。反过来，生成式 AI 对高质量、多样化、语义丰富的训练数据的渴求，以及对高效处理大规模三维数据的需求，也正强力驱动着 LiDAR 技术的持续创新，包括传感器性能的提升和数据处理算法的优化。这种硬件与 AI 算法之间的协同进化，是推动整个领域向前发展的核心动力。

7.3 智能感知未来的最终思考

通往真正智能系统的道路，在很大程度上依赖于高质量感知输入（如先进 LiDAR 技术）与强大生成及推理能力（GenAI / LLMs）的深度整合。当前的研究趋势清晰地表明，我们正从主要依赖”解释型 AI”（即主要基于传感器数据进行分类或回归的模型）的时代，迈向一个”生成式与认知型 AI”的新纪元。在这个新时代，模型不仅能够”看见”LiDAR 所感知的世界，更能基于这些感知进行”想象”、“预测”，并以更接近人类的方式进行”推理”和”交互”。

未来的研究重点应持续关注算法优化以提升效率和实时性，加强安全性和可靠性验证框架的构建，并大力投入研发以 LiDAR 为中心的、能够深刻理解其数据特性的原生基础模型。这种转变不仅仅是技术的增量改进，更是对自主系统开发方式的根本性重塑。它为实现更高级别的自主性、通过预测性仿真实现主动安全、借助 LLM 交互和 LiDAR 感知的环境上下文推断用户偏好以提供高度个性化的自主体验，以及在共享的（部分生成、部分真实的）三维世界理解基础上实现更直观的人机协作等开辟了道路。LiDAR 与生成式 AI 的深度融合，无疑将是塑造下一代智能感知系统的关键。

参考文献

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation — https://arxiv.org/abs/1612.00593
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space — https://arxiv.org/abs/1706.02413
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection — https://arxiv.org/abs/1711.06396
In-Place Scene Labelling and Understanding with Implicit Scene Representation（Semantic-NeRF）— https://arxiv.org/abs/2103.15875
3D Gaussian Splatting for Real-Time Radiance Field Rendering — https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields — https://arxiv.org/abs/2312.03203
Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing — https://arxiv.org/abs/2404.01223
Variational autoencoders for 3D data processing — https://www.researchgate.net/publication/378073387
LOGen: Toward Lidar Object Generation by Point Diffusion — https://arxiv.org/abs/2412.07385
R2Flow: Fast LiDAR Data Generation with Rectified Flows — https://arxiv.org/abs/2412.02241
Reflectivity Is All You Need!: Advancing LiDAR Semantic Segmentation — https://arxiv.org/abs/2403.13188
PF3Det: A Prompted Foundation Feature Assisted Visual LiDAR 3D Detector — https://arxiv.org/abs/2504.03563
MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs — https://arxiv.org/abs/2503.13111
DSDrive: Distilling Large Language Model for Lightweight End-to-End Autonomous Driving — https://arxiv.org/abs/2505.05360
LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding — https://arxiv.org/abs/2312.14074
NeuRadar: Neural Radiance Fields for Automotive Radar Point Clouds — https://arxiv.org/abs/2504.00859
LiDAR-EDIT: Towards LiDAR Data Generation for Corner Cases — https://arxiv.org/abs/2412.00592
Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios — https://arxiv.org/abs/2503.08317
PIN-SLAM: LiDAR SLAM Using a Neural Implicit Ego-Odometry — https://arxiv.org/abs/2401.09101