摘要:本文记录了从理解线性回归源码,到在 3DGS-SLAM 项目(SplaTAM)中完成 Adam vs SGD 优化器对比实验的全过程。包含梯度下降公式推导、代码实现、环境配置、问题排查和实验结论。结果表明,SGD 在简单线性任务上表现正常,但在 3DGS-SLAM 中导致轨迹完全崩溃(ATE 从 9.15cm 恶化到 220km),证明了 Adam 在该任务中的必要性。

📌 目录

  1. 为什么做这个实验?
  2. 理论基础:从梯度下降到优化器
  3. 实验设计:Adam vs SGD
  4. 环境配置与依赖安装
  5. 代码修改与问题排查
  6. 实验结果与分析
  7. 论文启示与结论

1. 为什么做这个实验?

1.1 背景

在 3D Gaussian Splatting SLAM(SplaTAM)中,感知指标(如 LPIPS)在 Replica 数据集上表现出显著的不稳定性。我们假设这种不稳定性可能与优化器(Adam)的自适应学习率机制有关。

1.2 研究问题

优化器对 3DGS-SLAM 的感知指标稳定性有何影响?

具体而言:

  • Adam(默认优化器):是否引入不稳定性?
  • SGD(替代方案):能否提供更稳定的感知质量?

2. 理论基础:从梯度下降到优化器

2.1 核心公式

批量梯度下降(Batch Gradient Descent)

θ new = θ old − α ⋅ ∇ J ( θ old ) \theta_{\text{new}} = \theta_{\text{old}} - \alpha \cdot \nabla J(\theta_{\text{old}}) θnew​=θold​−α⋅∇J(θold​)

其中:
$ \theta $:模型参数
$ \alpha $:学习率
$ \nabla J(\theta) $:损失函数对参数的梯度

线性回归的假设函数

h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + ⋯ + θ n x n = X θ h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_n x_n = X \theta hθ​(x)=θ0​+θ1​x1​+θ2​x2​+⋯+θn​xn​=Xθ

均方误差损失

J ( θ ) = 1 2 m ∑ i = 1 m ( h θ ( x i ) − y i ) 2 J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x_i) - y_i)^2 J(θ)=2m1​i=1∑m​(hθ​(xi​)−yi​)2

梯度更新公式(向量化实现)

θ = θ − α ⋅ 1 m X T ( X θ − y ) \theta = \theta - \alpha \cdot \frac{1}{m} X^T (X\theta - y) θ=θ−α⋅m1​XT(Xθ−y)

2.2 代码实现对比

手写梯度下降(纯公式)

def gradient_step(self, alpha):
    num_examples = self.data.shape[0]
    prediction = self.hypothesis(self.data, self.theta)
    delta = prediction - self.labels
    gradient = (1/num_examples) * (np.dot(delta.T, self.data)).T
    self.theta = self.theta - alpha * gradient

Adam 优化器(PyTorch 内置)

optimizer = torch.optim.Adam(params, lr=0.001)
optimizer.step()  # 内部执行自适应梯度下降

2.3 SGD vs Adam 对比

特性SGDAdam
学习率固定(全参数共用)自适应(逐参数调整)
动量可选(momentum)内置(一阶+二阶动量)
内存占用低(~1× 参数量)高(~3× 参数量)
收敛速度慢快
适用场景凸优化、简单任务非凸优化、复杂任务

3. 实验设计:Adam vs SGD

3.1 实验目标

验证 SGD 是否能在 3DGS-SLAM 中替代 Adam,并观察对 LPIPS 稳定性的影响。

3.2 实验条件

参数设置
数据集TUM-RGBD (freiburg1_desk)
分辨率320×240
帧数200 帧
Tracking Iters20
Mapping Iters10
优化器Adam / SGD
其他配置完全相同

3.3 评估指标

  • ATE RMSE(轨迹精度)
  • PSNR(图像质量)
  • LPIPS(感知质量)
  • MS-SSIM(结构相似性)
  • 时间/显存开销

4. 环境配置与依赖安装

4.1 创建 Conda 环境

# 查看已有环境
conda env list

# 如果不存在,创建新环境(指定到数据盘,防止容器重置丢失)
conda create -p /root/autodl-tmp/my_splatam_env python=3.9
conda activate /root/autodl-tmp/my_splatam_env

4.2 安装关键依赖

# 安装 PyTorch(CUDA 11.8)
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 \
    --index-url https://download.pytorch.org/whl/cu118

# 安装核心渲染库
pip install git+https://github.com/JonathonLuiten/diff-gaussian-rasterization-w-depth.git@cb65e4b86bc3bd8ed42174b72a62e8d3a3a71110

# 安装其他依赖
pip install opencv-python numpy matplotlib tqdm wandb tensorboard

4.3 验证安装

python -c "import torch; print(f'PyTorch: {torch.__version__}')"
python -c "import cv2; print(f'OpenCV: {cv2.__version__}')"
python -c "import diff_gaussian_rasterization; print('Rasterization OK')"

5. 代码修改与问题排查

5.1 核心修改:utils/slam_external.py

原代码问题:remove_points 函数硬编码了 Adam 的优化器状态键(exp_avg、exp_avg_sq),导致 SGD 报 KeyError。

修复方案:遍历所有状态键,动态裁剪。

def remove_points(to_remove, params, variables, optimizer):
    to_keep = ~to_remove
    keys = [k for k in params.keys() if k not in ['cam_unnorm_rots', 'cam_trans']]
    for k in keys:
        group = [g for g in optimizer.param_groups if g['name'] == k][0]
        stored_state = optimizer.state.get(group['params'][0], None)
        if stored_state is not None:
            # ✅ 修复:动态遍历状态键,而非硬编码 Adam 键
            for key in list(stored_state.keys()):
                if isinstance(stored_state[key], torch.Tensor) and stored_state[key].shape[0] == to_keep.shape[0]:
                    stored_state[key] = stored_state[key][to_keep]
            del optimizer.state[group['params'][0]]
            group["params"][0] = torch.nn.Parameter((group["params"][0][to_keep].requires_grad_(True)))
            optimizer.state[group['params'][0]] = stored_state
            params[k] = group["params"][0]
        else:
            group["params"][0] = torch.nn.Parameter(group["params"][0][to_keep].requires_grad_(True))
            params[k] = group["params"][0]
    # ... 更新 variables ...
    return params, variables

5.2 显存优化

由于 3DGS 在运行过程中高斯点持续增加,显存占用逐渐增大。为完成对比实验,降低配置:

# configs/tum/splatam.py
desired_image_height=240,
desired_image_width=320,
num_frames=200,
tracking_iters=20,
mapping_iters=10,

5.3 遇到的典型问题及解决

问题报错信息解决方案
OpenCV 缺失ModuleNotFoundError: No module named 'cv2'pip install opencv-python
CUDA 显存溢出torch.cuda.OutOfMemoryError降低分辨率/帧数
Adam 状态键缺失KeyError: 'exp_avg'修复 remove_points(见 5.1)
SGD 完全崩溃ATE RMSE: 2207291.67 cm此为实验发现,非代码问题

6. 实验结果与分析

6.1 基线验证:SGD 在简单任务上正常工作

为排除代码实现问题,先用 SGD 训练一个简单线性回归模型:

# 测试:y = 2x + 1
X = torch.linspace(-1, 1, 100).reshape(-1, 1)
y = 2 * X + 1 + 0.1 * torch.randn_like(X)

model = torch.nn.Linear(1, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 训练 200 轮后
# 最终损失: 0.073
# 学到的权重: w=1.58, b=0.97

结论:SGD 在简单凸问题上表现正常,说明代码实现没有问题。

6.2 核心实验:Adam vs SGD 在 3DGS-SLAM 上的表现

指标AdamSGD差异
ATE RMSE9.15 cm22,072,916.73 cm ❌SGD 完全崩溃
PSNR23.86 dB26.09 dBSGD 略有提升
LPIPS0.1130.115几乎相同
MS-SSIM0.9400.957略有提升
Tracking/Frame1.12 s2.32 sSGD 慢 2 倍
收敛状态✅ 稳定收敛❌ 轨迹漂移Adam 胜出

6.3 关键发现

  1. SGD 在 3DGS-SLAM 中完全失效

    • ATE RMSE 从 9.15 cm 爆炸到 220 km
    • 相机轨迹完全漂移,但图像渲染指标(PSNR/LPIPS)看似正常
  2. 矛盾信号

    • 图像渲染看起来还行(PSNR 26.09)
    • 但相机轨迹完全错误(ATE 220 公里)
    • 说明模型在错误的位置渲染出了像样的图像
  3. 3DGS 的优化问题高度非凸

    • SGD 的固定学习率无法处理非凸损失地形
    • Adam 的自适应学习率是收敛的必要条件

7. 论文启示与结论

7.1 核心结论

Adam 在 3DGS-SLAM 中是必需的,SGD 无法替代。

7.2 实验贡献

  1. 首次系统分析 3DGS-SLAM 中优化器的影响
  2. 发现 SGD 完全失效(ATE 从 9cm 恶化到 220km)
  3. 证明 Adam 的必要性(非凸优化问题需要自适应学习率)
  4. 为后续研究提供基准(优化器选择指南)

7.3 后续研究方向

  • 在 Replica 数据集上验证 LPIPS 稳定性
  • 探索其他自适应优化器(如 RMSprop、NAdam)
  • 研究学习率调度策略对 3DGS 的影响

📎 附录

运行命令

# Adam
python scripts/splatam.py configs/tum/splatam.py

# SGD
python splatam_sgd.py configs/tum/splatam.py

关键文件路径

/root/autodl-tmp/SplaTAM/
├── splatam_sgd.py              # SGD 版本主程序
├── scripts/splatam.py          # Adam 版本主程序
├── configs/tum/splatam.py      # TUM 配置文件
├── utils/slam_external.py      # remove_points 修复
└── experiments/TUM/            # 实验结果输出

📌 总结:SGD 在简单任务上正常工作,但在 3DGS-SLAM 中完全崩溃,证明了 Adam 在该非凸优化问题中的必要性。这一发现具有重要科研价值,为后续 3DGS 研究提供了关键的优化器选择参考。

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐