CNN‑SLAM:融合单帧深度网络的实时稠密单目SLAM解析
CNN‑SLAM:融合单帧深度网络的实时稠密单目SLAM解析
论文信息
标题:CNN‑SLAM: Real‑time dense monocular SLAM with learned depth prediction
会议:CVPR 2017
单位:慕尼黑工业大学TUM、佳能、约翰霍普金斯大学
代码:无官方开源实现
论文:https://arxiv.org/abs/1704.03489
一、研究背景:传统单目SLAM绕不开的痛点
有趣案例:你拿手机纯单目相机跑LSD‑SLAM做室内AR,明明画面看着正常,但是虚拟模型一会变大一会缩小,这就是尺度歧义。单目相机没有深度传感器,单纯依靠几何三角化,只能得到相对尺度,不知道真实米数。如果相机原地只旋转、完全不移动,没有视差基线,传统SLAM直接跟踪丢失,地图直接崩掉。
传统单目SLAM(LSD‑SLAM、ORB‑SLAM)固有缺陷:
- 尺度歧义:只能得到相对尺度,没有绝对物理尺度,AR、机器人导航没法直接使用;
- 纯旋转运动跟踪失效:相机原地旋转,帧之间没有平移基线,无法三角化求解深度,跟踪直接挂掉;
- 低纹理区域表现差:白墙、空白天花板,缺少梯度纹理,直接法SLAM无法估计深度,只能输出半稠密地图,大片区域没有重建;
- 纯CNN单帧深度预测的短板:深度图整体尺度可以,但物体边缘模糊、边缘深度不准。
CNN‑SLAM的核心思路:把CNN单帧预测深度 和 传统直接法SLAM几何深度做概率融合,各取所长。
- CNN单帧深度:提供绝对尺度,低纹理区域也能输出深度,相机纯旋转也能输出深度;缺点边缘模糊;
- 几何SLAM小基线立体匹配:擅长修正图像梯度边缘位置的深度,缺点无纹理区失效、尺度未知。

图1 系统效果对比
出处:原文Figure1
(a)CNN‑SLAM重建,尺度正确,可以把人体骨骼模型叠加到场景;(b)LSD‑SLAM尺度错误;©CNN‑SLAM还可以输出稠密语义三维重建。
二、整体Pipeline
CNN‑SLAM继承关键帧key‑frame范式,借鉴LSD‑SLAM直接半稠密框架,新增CNN深度/语义预测模块。
- 普通帧:做位姿跟踪,不跑CNN,保证实时;
- 满足条件生成新关键帧时,GPU运行CNN,输出稠密深度图 + 不确定性图 + 语义分割图;
- 焦距归一化修正CNN输出深度,消除训练集和测试集相机内参差异;
- 概率融合:CNN深度作为初始值,用相邻帧小基线立体匹配迭代 refine(精炼)深度与不确定性;
- 位姿图Pose‑Graph全局优化所有关键帧位姿;
- 增量全局融合3D点云,同时融合语义标签,输出带语义的稠密三维地图。
硬件分工:GPU负责CNN深度&语义预测;CPU负责跟踪、深度融合、位姿图优化;多线程并行,保证实时运行。
三、核心公式详解
3.1 位姿估计:光度残差损失
每一帧和最近关键帧,最小化灰度光度残差求解SE(3)位姿 TtkiT_{t}^{k_i}Ttki
E(Ttki)=∑u‾∈Ωρ(r(u~,Ttki)σ(r(u~,Ttki)))
E\left(T_{t}^{k_{i}}\right)=\sum_{\overline{u} \in \Omega} \rho\left(\frac{r\left(\tilde{u}, T_{t}^{k_{i}}\right)}{\sigma\left(r\left(\tilde{u}, T_{t}^{k_{i}}\right)\right)}\right)
E(Ttki)=u∈Ω∑ρσ(r(u~,Ttki))r(u~,Ttki)
符号解释:
- Ttki=[Rt,tt]∈SE(3)T_{t}^{k_i} = [R_t,t_t] \in SE(3)Ttki=[Rt,tt]∈SE(3):当前帧t到关键帧kik_iki的变换;RtR_tRt旋转矩阵,ttt_ttt平移向量;
- ρ()\rho()ρ():Huber鲁棒范数【大白话:抑制外点异常残差,防止噪声把优化带偏】;
- σ()\sigma()σ():残差不确定性函数;
- u~\tilde uu~:图像上高梯度像素集合,只选梯度大的像素计算,加速;
- Ω\OmegaΩ:整张图像像素域。
光度残差定义:
r(u~,Ttki)=Iki(u‾)−It(π(KTtkiV~ki(u~)))
r\left( \tilde {u},T_{t}^{k_{i}}\right) =\mathcal {I}_{k_{i}}(\overline {u})-\mathcal {I}_{t}\left( \pi \left(KT_{t}^{k_{i}}\tilde {\mathcal {V}}_{k_{i}}\left( \tilde {u}\right) \right) \right)
r(u~,Ttki)=Iki(u)−It(π(KTtkiV~ki(u~)))
符号解释:
- Iki\mathcal I_{k_i}Iki:关键帧灰度图;It\mathcal I_tIt:当前帧灰度图;
- π()\pi()π():透视投影函数,把3D点投影到2D图像;π([x,y,z]T)=(x/z, y/z)T\pi([x,y,z]^T)=(x/z,\ y/z)^Tπ([x,y,z]T)=(x/z, y/z)T
- KKK:相机内参矩阵;
- Vki(u)\mathcal V_{k_i}(u)Vki(u):由关键帧深度图反算得到的3D顶点坐标 Vki(u)=K−1u˙Dki(u)\mathcal{V}_{k_{i}}(u)=K^{-1} \dot{u} \mathcal{D}_{k_{i}}(u)Vki(u)=K−1u˙Dki(u);
- u˙\dot uu˙:像素uuu齐次坐标。
通俗理解:把关键帧的3D点投影到当前帧,对比投影位置灰度和当前图像灰度,灰度差异越小,代表位姿越准。
3.2 相机焦距校正(解决训练/测试相机不一致)
CNN在数据集训练时相机焦距ftrf_{tr}ftr,实际SLAM相机焦距fcurf_{cur}fcur,对CNN输出深度做缩放修正:
Dki(u)=fcurftrD~ki(u)
\mathcal{D}_{k_{i}}(u)=\frac{f_{cur }}{f_{tr }} \tilde{\mathcal {D}}_{k_{i}}(u)
Dki(u)=ftrfcurD~ki(u)
符号解释:
- D~ki(u)\tilde{\mathcal D}_{k_i}(u)D~ki(u):CNN原始直接输出深度;
- Dki(u)\mathcal D_{k_i}(u)Dki(u):修正之后用于SLAM的深度;
- fcurf_{cur}fcur:当前SLAM相机焦距;ftrf_{tr}ftr:训练数据集相机焦距。
大白话:不同相机焦距不一样,同样物体,CNN预测出来深度会有整体缩放偏差,用焦距比值做全局缩放修正。

图2 焦距校正+深度refine效果对比
出处:原文Figure3
(a)原始CNN深度;(b)只做焦距校正;©焦距校正+深度迭代refine;蓝色像素代表深度和真值误差小于10%,可以看到refine后正确像素大幅提升,轨迹也更贴合真值。
3.3 深度不确定性初始化
新关键帧kik_iki的不确定性,由该帧深度投影到临近旧关键帧kjk_jkj做差平方得到:
Uki(u)=(Dki(u)−Dkj(π(KTkjkiVki(u))))2
\mathcal{U}_{k_{i}}(u)=\left(\mathcal{D}_{k_{i}}(u)-\mathcal{D}_{k_{j}}\left(\pi\left(K T_{k_{j}}^{k_{i}} \mathcal{V}_{k_{i}}(u)\right)\right)\right)^{2}
Uki(u)=(Dki(u)−Dkj(π(KTkjkiVki(u))))2
符号解释:
- Uki(u)\mathcal U_{k_i}(u)Uki(u):像素uuu深度的不确定性(越大代表越不可信);
- TkjkiT_{k_j}^{k_i}Tkjki:关键帧kik_iki向kjk_jkj的位姿变换;
大白话:把新关键帧每个3D点投影到老关键帧,对比两边深度,差异越大代表这个像素深度越不靠谱,不确定性越高。
3.4 深度&不确定性概率融合(核心)
当前普通帧t通过小基线立体匹配算出深度Dt\mathcal D_tDt、不确定性Ut\mathcal U_tUt,和关键帧kik_iki已有深度做加权融合:
Dki(u)=Ut(u)⋅Dki(u)+Uki(u)⋅Dt(u)Uki(u)+Ut(u)
\mathcal{D}_{k_{i}}\left( u\right) =\frac{\mathcal {U}_{t}\left( u\right) \cdot \mathcal {D}_{k_{i}}\left( u\right) +\mathcal {U}_{k_{i}}\left( u\right) \cdot \mathcal {D}_{t}\left( u\right)}{\mathcal{U}_{k_{i}}(u)+\mathcal{U}_{t}(u)}
Dki(u)=Uki(u)+Ut(u)Ut(u)⋅Dki(u)+Uki(u)⋅Dt(u)
Uki(u)=Ut(u)⋅Uki(u)Uki(u)+Ut(u) \mathcal{U}_{k_{i}}(u)=\frac{\mathcal{U}_{t}(u) \cdot \mathcal{U}_{k_{i}}(u)}{\mathcal{U}_{k_{i}}(u)+\mathcal{U}_{t}(u)} Uki(u)=Uki(u)+Ut(u)Ut(u)⋅Uki(u)
符号解释:
- Dki(u)\mathcal D_{k_i}(u)Dki(u):关键帧像素uuu融合之后深度;
- Uki(u)\mathcal U_{k_i}(u)Uki(u):关键帧像素uuu融合之后不确定性;
- Dt(u)\mathcal D_t(u)Dt(u):普通帧t立体匹配得到深度;Ut(u)\mathcal U_t(u)Ut(u):普通帧t深度不确定性。
✅融合逻辑通俗解释:
- 如果几何立体匹配很可靠(Ut\mathcal U_tUt很小):就更多相信几何匹配出来的深度,修正CNN预测的模糊边缘;
- 如果该位置是低纹理,几何匹配不靠谱(Ut\mathcal U_tUt很大):融合权重偏向CNN预测深度,保留CNN输出;
这就是论文的核心trick:高梯度区域相信几何,无纹理区域相信CNN深度,两全其美。
3.5 语义标签全局融合
CNN同时预测每帧语义分割图,借鉴SemanticFusion的GSM全局语义模型,对每一个三维点,多帧观测做概率平均,得到稳定语义类别,输出带语义标签稠密点云。
四、实验结果分析
数据集:ICL‑NUIM(合成室内)、TUM‑RGB‑D真实室内;CNN网络在NYU Depth v2训练,测试数据集和训练集场景、相机完全不一样,验证泛化能力。
4.1 轨迹精度ATE(绝对轨迹误差,单位m,越小越好)
对比方法:LSD‑SLAM(有无真值初始化尺度)、ORB‑SLAM2、REMODE、单纯CNN深度直接送入Fusion。
| Method | ICL‑NUIM | TUM fr3/long office household | TUM fr3/nostructure | TUM fr3/structure texture far |
|---|---|---|---|---|
| LSD‑SLAM(no init scale) | 尺度失效,ATE极大 | ‑ | ‑ | ‑ |
| LSD‑SLAM(gt init scale) | 0.246 | 0.542 | 1.826 | 1.206 |
| REMODE | 0.562 | 1.717 | 12.477 | 9.548 |
| Raw CNN depth直接融合 | 0.213 | 0.794 | 1.435 | 0.509 |
| CNN‑SLAM(Ours) | 0.057 | 0.106 | 0.086 | 0.031 |
分析:
- LSD‑SLAM不给真值初始化尺度直接废掉;就算给真值初始化尺度,精度依旧弱于CNN‑SLAM;
- 只拿CNN原始深度直接做融合效果一般;经过论文这套概率refine融合后,ATE大幅度降低,证明深度迭代精炼模块必不可少。
- REMODE稠密重建效果很差,对无纹理场景鲁棒弱。
4.2 纯旋转运动测试(TUM fr1/rpy)
有趣实验场景:相机原地打转,几乎没有平移。
- ORB‑SLAM2:直接初始化失败,跟踪完全丢失;
- LSD‑SLAM:没有平移视差,立体匹配失效,重建噪声巨大;
- CNN‑SLAM:可以正常跟踪+建图,每帧依靠CNN单帧深度输出,不需要帧间视差基线。

图5 纯旋转场景重建对比
出处:原文Figure5
左:真值深度重建;中:CNN‑SLAM输出;右:LSD‑SLAM输出,噪声严重。
4.3 语义稠密重建结果

图6 语义三维重建结果
出处:原文Figure6
不同颜色代表语义类别:地板、墙体、家具小物体;绿色线条是相机轨迹。CNN‑SLAM是早期单目相机实现稠密语义重建的工作。
4.4 消融核心结论
- 只使用原始CNN深度,没有焦距校正:轨迹漂移严重;焦距校正必不可少;
- 缺少逐帧深度refine迭代:CNN边缘模糊问题保留,深度误差高;
- 系统可以实时运行:CNN在GPU,跟踪、融合、位姿图优化跑CPU多线程;普通桌面机器可以达到实时。
五、简化伪代码(模拟核心流程,非官方C++源码)
"""
CNN‑SLAM核心流程伪代码
说明:原论文是C++实现,没有开源完整工程,下面为逻辑复现伪代码
输入:图像序列,相机内参K;CNN_depth_net深度网络;CNN_seg_net语义网络
"""
def cnn_slam(image_seq, K, f_tr):
keyframes = [] # 存储关键帧:T_wc, depth_map, uncertainty_map, seg_map
current_T = np.eye(4) # 当前相机位姿
f_cur = K[0,0]
for t, img in enumerate(image_seq):
# 1.跟踪:当前帧和最近关键帧做直接法光度优化,求解位姿current_T
nearest_kf = get_nearest_keyframe(keyframes, current_T)
current_T = track_photometric(img, nearest_kf, K)
# 判断是否生成新关键帧:位姿变化足够大,则新建关键帧
if need_new_keyframe(current_T, nearest_kf):
# GPU运行CNN预测深度、语义
raw_depth = CNN_depth_net(img)
seg_pred = CNN_seg_net(img)
# =========焦距校正,消除相机差异=========
depth_corrected = raw_depth * (f_cur / f_tr)
# 初始化不确定性图,和临近关键帧做深度差
if len(keyframes) > 0:
U_init = compute_uncertainty(depth_corrected, nearest_kf, current_T, K)
else:
U_init = np.ones_like(depth_corrected)*10.0 #第一帧无参考,大初始不确定性
new_kf = {"T":current_T, "D":depth_corrected, "U":U_init, "seg":seg_pred}
keyframes.append(new_kf)
# 位姿图全局优化所有关键帧
pose_graph_optimize(keyframes)
# =========深度refine:普通帧小基线立体匹配,概率加权融合到最近关键帧=========
if len(keyframes)>0:
kf = get_nearest_keyframe(keyframes, current_T)
D_t, U_t = stereo_small_baseline(img, kf, current_T, K)
# 概率融合公式
D_new = (U_t * kf["D"] + kf["U"] * D_t) / (kf["U"] + U_t)
U_new = (U_t * kf["U"]) / (kf["U"] + U_t)
kf["D"], kf["U"] = D_new, U_new
# 全部帧结束,全局语义融合输出稠密点云
global_cloud = semantic_fusion(keyframes, K)
return global_cloud, keyframes
六、个人思考总结
核心贡献
- CNN深度与直接SLAM概率融合范式:CNN深度做初始值,几何立体匹配做迭代精炼。高梯度区域信任几何修正边缘,低纹理区域信任CNN深度,互补扬长。
- 解决单目SLAM两大硬伤:①得到绝对物理尺度;②相机纯旋转无平移基线,依然可以跟踪建图。
- 焦距缩放校正策略,解决CNN训练集相机和测试集相机内参不一致带来深度缩放偏差。
- 单目相机实现稠密语义三维重建,把单帧CNN语义分割结果融合进全局地图。
论文局限
- CNN深度预测质量高度依赖训练数据集分布;如果场景和NYU‑v2差异巨大,深度输出会出现系统性偏差;
- CNN预测深度边缘天然模糊,虽然可以用几何refine改善,但极端情况依旧存在;
- 没有回环检测闭环;只有pose‑graph对关键帧做优化,缺少闭环修正大漂移;
- 必须GPU运行CNN模块,纯CPU设备无法使用;没有开源官方工程,复现门槛高。
可创新、后续研究方向
- 闭环回环:给CNN‑SLAM增加回环检测模块,消除长序列累积漂移;
- 双向闭环:用SLAM重建出来稠密地图反过来做深度网络自监督微调,论文结尾也提出这个展望;
- 轻量化:替换轻量深度估计网络,降低GPU算力需求,向嵌入式设备迁移;
- 动态物体处理:现在假设场景静态,增加动态物体掩码,过滤动态物体对深度融合的干扰;
- 结合IMU:做成单目‑IMU版本CNN‑SLAM,进一步提升旋转、快速运动鲁棒性;
- 改进不确定性建模:论文不确定性靠深度投影差简单计算,可以用网络直接输出像素级深度不确定性,替代手工公式。
工程启发:这篇是早期“深度学习深度预测 + 传统几何SLAM”融合开山之作,现在很多单目Metric Depth + SLAM方案,核心思想都继承自CNN‑SLAM。它告诉我们:不要迷信网络输出,几何约束依然是修正神经网络输出噪声的强大武器。
更多推荐
所有评论(0)