从视觉高斯到物理高斯：多模态激光雷达驱动的物理感知高斯泼溅

1. 引言：3D 高斯泼溅的固有局限

3D Gaussian Splatting（3DGS）用海量三维高斯基元集合来表示场景，每个高斯体由位置（均值 μ）、协方差矩阵 Σ（决定形状与旋转）、颜色（通常用球谐函数 SH 表示）以及不透明度 α 定义。它借助基于片元（tile）的可微光栅化器实现了实时（>100 FPS）渲染与高质量的新视角合成，正在重塑实时三维场景重建与渲染的技术范式。

然而，传统 3DGS 依赖相机图像作为颜色输入，存在以下固有局限：

局限	详细说明	对物理感知建模的影响
材质-光照纠缠	同一张 RGB 图像可由无数种（材质，光照）组合产生，逆渲染是病态问题	无法唯一确定 albedo（漫反射率），材质分解存在歧义
光照敏感性	RGB 质量在夜间、弱光、逆光条件下断崖式下降	全天候重建失效
几何精度不足	SfM/MVS 在纹理稀疏区域（白墙、天空）系统性失败	高斯基元位置初始化不精确
多传感器标定	独立激光雷达 + 相机需要外参标定、时间同步，误差累积	颜色与 3D 数据对齐误差
概念错位	球谐系数编码的是”视角相关外观”，而非”固有材质属性”	不支持可重光照、材质编辑

核心瓶颈：所有现有方案几乎都试图从纯 RGB 图像中进行逆渲染，这是一个本质上欠约束的数学问题。给定仅 RGB 观测值，存在无限组（材质，光照）组合可产生相同的渲染结果。

突破这一瓶颈的一条路径，是引入与光照解耦的物理测量（如绝对标定的反射率、近红外响应、主动回波强度等），从源头上为材质-光照歧义性提供物理锚点，将欠约束的逆渲染问题转化为超定系统。多模态同源激光雷达（在同一光学路径与硬件时钟下同时输出彩色、近红外、反射率、深度与惯性测量的一类传感器）正是实现这一思路的天然数据源。

2. 物理高斯泼溅的前沿方向

近年来，学术界已开始将材质物理属性嵌入高斯基元，主要方向如下：

方向	核心思想	代表工作
BRDF 分解	将高斯基元映射为 albedo、roughness、metallic	RTR-GS、GeoSplatting、PhysGaussian
光照分离	材质与光照解耦，支持可重光照	Relightable 3D Gaussians
多光谱扩展	高斯属性扩展至多光谱波段	SpectralGaussians、NIRSplat
LiDAR 几何引导	利用 LiDAR 精确几何初始化高斯	LiDAR-GS、Splat-LOAM、Gaussian-LIC2
特征场蒸馏	高斯基元存储语义/物理特征向量	Feature 3DGS、Feature Splatting

3. 材质-光照歧义性的数学形式

传统 RGB 逆渲染中，对于每个像素 p，其 RGB 观测值可由渲染方程给出：

$I_p = \int_{\Omega} \rho(\omega_i, \omega_o; \mathbf{x}) \, L_i(\mathbf{x}, \omega_i) \, (\mathbf{n} \cdot \omega_i) \, d\omega_i$

其中 $\rho$ 为双向反射分布函数（BRDF）， $L_i$ 为入射辐照度， $\mathbf{n}$ 为表面法线。给定 $I_p$ ，有无数种 $(\rho, L_i)$ 组合可以产生相同的 RGB 值——这是一对多映射的欠约束系统。

绝对反射率提供的物理约束：若传感器能提供与光照 $L_i$ 解耦的材质固有反射率测量（例如在固定激光波长下的反射率），则可构造硬等式约束：

$\mathcal{L}_{refl} = \lambda_{refl} \sum_{i} \left\| \text{Albedo}_i - \frac{\text{Reflectivity}_i}{R_{max}} \right\|^2$

反射率测量了材质在特定波段的固有反射率，与光照无关。不同空间点上 albedo 的相对比例被物理测量锚定：

$\frac{\text{Albedo}_i}{\text{Albedo}_j} \approx \frac{\text{Reflectivity}_i}{\text{Reflectivity}_j}$

当结合 RGB 多波段观测时，系统变为超定，可从本质上消除材质-光照歧义性。这是”物理高斯泼溅”区别于纯视觉方案的核心技术突破。

4. 关键物理通道的原理与价值

4.1 近红外（NIR）通道：可见光之外的材质区分维度

近红外（以 ~865 nm 为例）通道提供了可见光 RGB 之外的第四个光谱采样点，其材质区分能力源于以下物理机制：

术语	波段范围	物理机制
红边	~680-750 nm	叶绿素吸收到叶片散射的过渡区
NIR 平台	~750-1300 nm	叶片海绵状叶肉细胞的多次内散射
水分吸收带	~970、~1200、~1450 nm	水分子特征吸收

健康植被在 NIR 波段表现出高反射率（通常 40-55%），是因为叶片海绵状叶肉细胞结构在近红外波段造成多次内散射。与 R 通道（叶绿素吸收峰附近）联合使用时，可形成类似 NDVI 的植被指数。

纯水在 ~865 nm 的光谱吸收系数约为 4.7 m⁻¹，远高于可见光绿波段（550 nm）的 ~0.02 m⁻¹，因此水体在 NIR 图像中比在 RGB 图像中显著更暗，有助于区分水体与陆地表面。

材质类型	RGB 表现	NIR 表现	区分机制
健康植被	绿色（叶绿素反射）	高反射（NIR 平台效应）	R 低 + NIR 高 → 植被
枯萎植被	黄/褐色	较低反射（细胞结构退化）	区分于健康植被
水体	蓝绿/浑浊色	低反射（水吸收增强）	NIR 低 → 水体标识
金属表面	取决于氧化/涂层	通常高反射	NIR 保持高反射率

米氏散射与能见度：散射强度与波长的关系为 $I_{scatter} \propto 1/\lambda^n$ 。对于大气气溶胶和雾滴（直径 ~1-10 μm），NIR 波长较可见光更长，散射系数更低，因此在薄雾和轻度雾霾条件下，NIR 通道的纹理退化程度低于可见光 RGB 通道。

NIR 伪彩色融合：当 RGB 与 NIR 来自同一光学中心、物理层时空对齐时，可直接进行像素级融合，将 NIR 替换或叠加到 RGB 某一通道，生成凸显特定特征的伪彩色增强图像（如植被显示为亮红色、增强水分/冰面检测等）。

4.2 单光子雪崩二极管（SPAD）被动成像

部分新型彩色激光雷达的被动成像像素基于单光子雪崩二极管（SPAD）架构，工作在盖革模式下，与传统 CMOS 有本质差异：

特性	传统 CMOS	SPAD
工作模式	积分（累积电荷）	光子计数（数字脉冲）
灵敏度	受限于读出噪声	单光子级
动态范围	~72 dB	可达 116 dB 量级，支持单帧 HDR
弱光行为	信号淹没于噪声 → 失效	泊松噪声主导，渐进退化
输出	模拟电压	数字计数值 + 时间戳

传统 CMOS 的 RGB 在弱光下呈”悬崖式”失效——当光子通量低于读出噪声水平时，信号完全被噪声淹没。SPAD 的光子计数模式使信噪比由泊松统计噪声（ $\sqrt{N}$ ）主导，即使光子计数很低，R/G/B 相对比例（色度信息）的统计期望仍然存在。因此 RGB 可用性是平滑退化而非二值失效。

对损失函数的意义：优化中的 RGB 权重应随光照条件连续衰减而非二值切换，以保持优化过程的稳定性：

光照条件	传统 CMOS RGB	SPAD RGB	建议 λ_RGB
正午（>100 klux）	可用	最优	1.0
阴天（1-10 klux）	可用	可用	0.8
黄昏/黎明（10-1000 lux）	质量下降	可用（中等噪声）	0.6
夜间路灯（1-10 lux）	严重退化	可用（较大噪声）	0.3
完全黑暗（<1 lux）	失效	极有限（SNR 极低）	0.05

4.3 多回波几何建模

激光雷达支持的多回波模式可为高斯泼溅提供更丰富的几何信息：

模式	说明	对物理高斯泼溅的价值
First	最近回波	主要物体表面几何
Strongest	最强回波	逆反射体检测
Last	最远回波	穿透植被/雨雾
Dual（First + Last）	最近 + 最远	透明/半透明物体的前表面 + 后表面
Dual（First + Strongest）	最近 + 最强	通用障碍物 + 逆反射体
Dual（Strongest + Last）	最强 + 最远	逆反射体 + 植被穿透

对于玻璃、水面等透明/半透明物体，Dual 回波可同时获得前表面和后表面深度，从而为高斯泼溅创建两层高斯基元，分别编码前表面与后表面的外观和几何。

4.4 高频 IMU 与 VIO + LIO 融合

内置高频 IMU 为高斯泼溅提供惯性锚点，其价值体现在运动去畸变、位姿初始化、退化场景鲁棒性、重力对齐与高频运动约束等方面。结合视觉与激光里程计，可构成双模态位姿估计：

模态	输入	优势	劣势
VIO	RGB + IMU	纹理丰富场景精度高	纹理缺失/光照剧变时退化
LIO	Range + IMU	几何精度高，不受光照影响	纹理信息缺失
VIO + LIO 联合	RGB + Range + IMU	全天候、全场景鲁棒	计算开销略高

位姿先验损失函数可写作：

$\mathcal{L}_{pose} = \lambda_{pose} \left( \left\| \mathbf{t}_{gs} - \mathbf{t}_{VIO+LIO} \right\|^2 + \left\| \log(\mathbf{R}_{gs}^T \mathbf{R}_{VIO+LIO}) \right\|^2 \right)$

已发表工作（如 Gaussian-LIC2、LiDAR-GS、Splat-LOAM）已验证：LiDAR 深度可以直接初始化高斯基元的几何位置，显著提升重建质量，完全绕过 COLMAP/SfM 在纹理稀疏区域和遮挡区域的系统性失败。

5. 物理高斯基元的属性重定义

利用多模态物理测量，可对高斯泼溅的底层图元进行重新定义，将 3DGS 从纯粹的视觉渲染工具升维为具备物理意义、可查询的世界建模引擎。

传统 3DGS 属性	物理高斯基元属性	数据源
Position（μ）SfM 初始化	Position（μ）—— 深度直接初始化	Range 通道
Covariance（Σ）多帧几何推断	Covariance（Σ）—— 多帧点云几何 + IMU	Range + IMU
Color（SH 系数）	RGB + NIR 双重约束	RGB + NIR
Opacity（α）	Opacity（α）—— 多回波推断	Dual 回波模式
—	Albedo（漫反射率）	Reflectivity + RGB
—	Roughness（粗糙度）	Signal + 多视角 BRDF 拟合
—	Normal（法线）	Range 几何 + Σ 推导
—	Metallic（金属度）	R/G/B/NIR/Reflectivity 多波段特征

通过 R/G/B/NIR + Reflectivity 等通道，可构建多维材质特征向量：

$\mathbf{f}_{material} = [R, G, B, NIR, \text{Reflectivity}]$

相比纯 RGB 的三维向量，多维特征向量提供了更丰富的材质区分能力。

高斯物理特征场

进一步地，可让每个高斯体携带一个可学习的物理特征向量 F，并由多个并行的小型 MLP 解码头分别解码为不同物理模态：

head_rgb(F) → 预测的 RGB 颜色
head_nir(F) → 预测的 NIR 强度
head_reflectance(F) → 预测的绝对反射率
head_geometry(F) → 预测的 SDF 值（可选，用于几何约束）

通过最小化复合物理损失，系统被”强迫”学习一个能够同时、自洽地解释所有物理观测的底层特征表示 F——它不再是抽象的，而是被多种物理规律共同约束的、具有明确物理意义的特征。由此构建的不再仅仅是一张”能看的地图”，而是一个可查询、可分析的物理世界模型。

6. 多通道自适应损失函数

将各物理通道纳入统一优化框架，总损失为各项加权和：

$\mathcal{L}_{total} = \lambda_{RGB} \mathcal{L}_{RGB} + \lambda_{NIR} \mathcal{L}_{NIR} + \lambda_{Sig} \mathcal{L}_{Signal} + \lambda_{Refl} \mathcal{L}_{Reflectivity} + \lambda_{Range} \mathcal{L}_{Range} + \lambda_{Pose} \mathcal{L}_{Pose}$

损失项	数据源	约束维度	物理含义
$\mathcal{L}_{RGB}$	RGB	颜色一致性	高斯渲染 RGB 匹配观测
$\mathcal{L}_{NIR}$	NIR	NIR 纹理一致性	高斯在 NIR 波段响应匹配观测
$\mathcal{L}_{Signal}$	主动回波强度	主动强度一致性	高斯主动回波强度匹配观测
$\mathcal{L}_{Reflectivity}$	Reflectivity	材质一致性	Albedo 分量匹配绝对反射率
$\mathcal{L}_{Range}$	Range	几何一致性	渲染深度匹配原生深度
$\mathcal{L}_{Pose}$	VIO + LIO	位姿一致性	优化位姿匹配 VIO + LIO 估计

深度约束与反射率约束分别为：

$\mathcal{L}_{depth} = \lambda_{depth} \sum_{i} \left\| D_{rendered}(i) - D_{lidar}(i) \right\|^2$

$\mathcal{L}_{refl} = \lambda_{refl} \sum_{i} \left\| \text{Albedo}_i - \frac{\text{Reflectivity}_i}{R_{max}} \right\|^2$

不同通道的权重应随光照条件连续调整（例如正午强光下 RGB 权重高、完全黑暗下 Signal 权重高），实现从正午阳光到完全黑暗的无缝全天候适应。这种基于物理模型的自适应加权，是多通道融合区别于固定权重方案的关键。

7. 全天候连续感知策略

多通道互补的核心思想是：不同通道在不同光照/能见度下的有效性各异，通过组合可在几乎所有条件下维持有效约束。

环境光强 ──────────────────────────────────────→ 环境光弱

RGB (SPAD)  ████████████████████████████░░░░░░░░  渐进退化（非二值失效）
NIR (SPAD)  ████████████████████████████░░░░░░░░  渐进退化（薄雾中有优势）
Signal      ░░░░░░░░░░░░░░░░░░░████████████████  环境光越暗越清晰
Reflectivity ████████████████████████████████████  恒定（与环境光解耦）
Range       ████████████████████████████████████  恒定（与环境光解耦）

光照条件	主导通道	辅助通道	高斯重建策略
正午强光	RGB	NIR、Reflectivity、Range	RGB 主导外观
阴天	RGB + NIR	Reflectivity、Range	RGB + NIR 联合外观
黄昏/黎明	RGB + NIR + Signal	Reflectivity、Range	多通道加权联合
夜间有路灯	Signal + NIR	RGB（低权重）、Reflectivity、Range	Signal 主导，RGB 辅助
完全黑暗	Signal	Reflectivity、Range	纯主动模式
隧道出入口	RGB（单帧 HDR）	Signal、Reflectivity、Range	单帧 HDR 覆盖
薄雾	NIR + Signal	Reflectivity、Range	NIR 穿透优势
浓雾	Signal + Range	Reflectivity	纯主动模式

关键意义：光照剧变场景是传统 3DGS 的重灾区——光照变化导致高斯基元的 SH 颜色系数在不同帧间剧烈波动，优化难以收敛。多通道互补确保至少三个与光照无关的通道（Signal、Reflectivity、Range）在任何条件下始终有效，为高斯基元提供持续、稳定的优化约束，避免因光照退化导致的优化发散。

8. 总结：从视觉高斯到物理高斯

融合多模态物理测量的高斯泼溅，实现了从”视觉高斯”到”物理高斯”的范式跃迁：

绝对反射率是材质-光照歧义性的物理解：与光照解耦的材质固有属性测量，将逆渲染从欠约束系统转变为超定系统。
SPAD 架构重塑全天候感知逻辑：单光子计数特性使 RGB 通道在极低照度下仍能维持稳定性，要求损失函数采用连续衰减权重而非二值切换。
原生深度是最优几何初始解：LiDAR 深度直接初始化高斯位置，绕过 SfM 的纹理依赖性。
高频 IMU 是高斯的惯性锚点：高频位姿先验、VIO + LIO 双模态联合、运动去畸变与重力对齐，使位姿优化从盲搜索变为有约束精调。
多通道自适应损失函数是统一框架：不同通道权重可基于物理模型连续调整，实现全天候无缝适应。

传统 3DGS 回答的是”从这个方向看颜色是什么”；物理高斯泼溅回答的是”这个表面的材质是什么，在任何光照下应如何呈现”。这一跃迁将高斯场景从视觉渲染工具升级为具备物理意义、可编辑、可重光照、可查询的世界建模引擎。