三位一体:精度、完整性、效率

稠密3D重建是计算机视觉领域的一个长期挑战,旨在捕捉和重建真实场景的详细几何结构。传统方法主要依赖多阶段管道,这些方法通常从稀疏的**同时定位与建图(SLAM)或结构光照相(SfM)算法开始,用于估计相机参数,随后使用多视角立体重建(MVS)**技术填充场景细节。这些方法虽然可以提供高质量的重建结果,但通常需要离线处理才能生成完整的模型,这限制了它们在实际场景中的适用性。

稠密SLAM方法被开发为一个完整系统来解决稠密场景重建问题。然而,这些方法通常在重建精度或完整性方面表现不足,或者过度依赖深度传感器。近年来,一些单目SLAM系统被提出用于从RGB视频中重建稠密场景。这些系统通过引入先进的场景表示,能够生成准确且完整的场景重建结果,但运行效率显著下降。例如,NICER-SLAM的运行速度远低于1 FPS。因此,当前方法在重建的精度、完整性或效率三大关键指标中,至少会在一方面存在不足。

虽然单目稠密SLAM系统存在上述限制,但最近在双视角几何方面的进展展示出潜在的应用前景。对于多视角重建,该方法需要额外的全局优化步骤来对齐这些图像对,导致效率大幅下降。同时,一项同期工作Spann3R将DUSt3R扩展到多视角(视频)场景,通过成对增量式重建管道加速重建过程,但其方法在精度方面出现了明显的累积漂移。

SLAM3R[1]是一种新型的SLAM系统,专为实时单目稠密3D重建而设计。SLAM3R由两层框架组成:

  1. 首先,系统使用滑动窗口机制,从输入视频的短片段中重建局部3D几何

  2. 然后,逐步将这些局部重建结果注册到全局一致的3D场景中。

这两个模块均采用简单而高效的前馈神经网络,从而实现端到端的高效场景重建。具体而言,这两个模块分别是**图像到点云(I2P)网络和局部到全局(L2W)**网络。I2P模块受DUSt3R启发,在局部窗口中选择一个关键帧作为坐标系参考,并直接预测该窗口中所有帧支持的稠密3D点云。L2W模块则逐步将这些局部重建的点云融合到统一的全局坐标系中。整个过程无需显式估计任何相机参数。

大量实验证明了SLAM3R在多种基准数据集上实现了高质量的场景重建,且漂移极小,超越了现有的稠密SLAM系统。此外,SLAM3R在20+ FPS的运行速度下,成功弥合了RGB稠密场景重建中质量与效率之间的鸿沟。

项目链接(coming soon):https://github.com/PKU-VCL-3DV/SLAM3R

主要贡献:

  • 提出了一种新颖的实时端到端稠密3D重建系统,能够直接预测统一坐标系下的3D点云。

  • 通过精心设计,使得**图像到点云(I2P)**模块能够同时处理任意数量的图像,有效地将DUSt3R扩展到多视角场景,从而产生更高质量的预测结果。

  • 提出的**局部到全局(L2W)**模块直接将局部预测的3D点云对齐到统一的全局坐标系,消除了对显式相机参数估计和昂贵的全局优化的需求。

  • 在多个公共基准数据集上验证了该方法的有效性,结果表明其在保持实时性能的同时,在重建精度和完整性方面达到当前最优水平。

具体方法

问题定义

给定一个单目视频,由一系列RGB图像帧组成 ,捕捉的是一个静态场景,目标是重建其稠密3D点云 ,其中 是3D点的数量。研究的重点是:

  1. 最大化 3D点的恢复以提高重建的完整性。

  2. 提高每个恢复点的准确性。

  3. 在保持实时性能的同时实现上述目标。

系统概述

如图2所示,提出的稠密SLAM系统包括两个主要组件:

  1. 图像到点云(I2P)网络:从视频片段中恢复局部3D点云。

  2. 局部到全局(L2W)网络:将局部重建结果逐步注册到全局场景坐标系中。

在整个稠密点云重建过程中,系统无需显式估计任何相机参数,而是直接在统一坐标系中预测3D点云。

系统通过滑动窗口机制将输入视频转换为短片段 。I2P网络处理每个窗口 ,恢复局部3D点云。在每个窗口中,系统选择一个关键帧作为参考坐标系,详细内容见第3.1节。
对于全局场景重建,我们以第一个窗口为初始世界坐标系,并使用I2P重建的关键帧和局部点云作为L2W模型的输入,逐步将这些局部点云对齐到全局坐标系中。为了在保持准确性的同时提高效率,系统维护一个有限的已注册关键帧集合,称为场景帧。L2W模型在注册新关键帧时,从已注册帧中检索最相关的场景帧作为参考。

局部窗口内重建

图像到点云(I2P)模型旨在从给定的视频片段中,为关键帧的每个像素推断稠密3D点云。

关键帧选择:默认情况下,窗口 的中间图像 被选为关键帧,以定义局部坐标系,因为它最可能与其他帧有最大重叠。其余图像 作为支持帧。

网络架构:
I2P网络基于DUSt3R,通过以下组件进行扩展:

  1. **共享编码器 **:对每个图像独立编码生成特征表示。

  2. 关键帧解码器 :执行自注意力和多视角交叉注意力,将支持帧的信息整合到关键帧中。

  1. **支持帧解码器 **:从关键帧中提取信息,对支持帧特征进行补充。
  • 点云重建:通过线性回归头,将解码后的特征转换为稠密3D点云和置信度图:

其中 是点云预测头, 是置信度图。

  • 训练损失:基于DUSt3R的置信度感知损失:

其中 是有效点的掩码, 是尺度因子, 是正则化权重。

跨窗口全局注册

在通过I2P网络获得局部3D点云 后,我们利用局部到全局(L2W)模型将新生成的点云逐步注册到全局3D坐标系中。与I2P网络类似,L2W模型也依赖于一些帧作为全局坐标系的参考,此外,它还可以利用多个已注册的关键帧作为全局参考。这些已注册的关键帧称为场景帧,通过采样机制保存在一个缓冲集合中。

场景初始化

系统使用第一个窗口初始化场景模型,为了确保初始化的准确性,我们对窗口中的所有帧分别应用I2P网络,并尝试将每帧作为关键帧进行重建。然后,我们选择总置信度得分最高的结果作为场景模型的初始点云和已注册帧集合。所有这些帧都被视为场景帧,并用于初始化缓冲集合。

缓冲集合与检索

缓冲集合被设计为在处理长视频时具有可扩展性,采用随机抽样(Reservoir Sampling)策略,最多维护 个已注册的场景帧。当I2P网络生成一个新的关键帧并准备融合时,我们从缓冲集合中检索出与其最相关的 个场景帧作为支持帧。

  1. 场景帧存储:
  • 初始 帧直接插入缓冲集合。

  • 当新帧的ID大于 时,以概率 选择该帧插入集合,并随机替换当前缓冲集合中的一帧。

  1. 场景帧检索:
    给定新关键帧 ,我们将其特征 与缓冲集合中场景帧的特征 输入检索模块,计算相似性分数:

    检索模块使用I2P网络前两层的解码器作为骨干,通过线性投影和平均池化生成帧之间的相关性分数,衡量关键帧与场景帧之间的视觉相似性和几何基准适配性。最终,选择 个相关性最高的场景帧作为全局参考,输入L2W模型进行融合。

点云嵌入(Points Embedding)

为了将I2P网络生成的局部点云输入L2W模型,我们使用与视觉Transformer相似的点云嵌入方法:

  1. 首先,对新关键帧及其检索到的 个场景帧进行点云嵌入:

  2. 将点云嵌入与对应的视觉特征相加,生成融合后的联合特征:

此时,联合特征集合 包含关键帧和场景帧的图像外观与3D几何信息。

注册解码器(Registration Decoder)

注册解码器 输入联合特征集合 ,将关键帧的局部重建结果对齐到全局场景坐标系中。其网络架构与I2P网络的关键帧解码器 相同,解码过程如下:

场景解码器(Scene Decoder)

场景解码器 输入相同的联合特征集合,用于进一步优化场景几何,但不会改变坐标系。解码过程如下:

点云重建与训练损失

我们应用与I2P网络相同的线性回归头,从解码后的特征中预测所有帧在全局场景坐标系中的点云:

  • 训练损失:L2W网络的损失函数与I2P网络类似,但不进行尺度归一化,因为输出的点云需要与输入场景帧保持一致的尺度:

通过L2W模型,新的局部重建结果被逐步注册到全局坐标系中。该过程通过检索最相关的历史场景帧作为参考,确保了点云融合的高效性与准确性,最终实现全局一致的稠密3D场景重建。

实验效果

总结一下

SLAM3R是一种新颖且高效的单目RGB SLAM系统,用于实时高质量的稠密3D重建。该方法采用了一个双层次的神经网络框架,通过简化的前馈过程实现端到端的3D重建,避免了显式求解任何相机参数的需求。实验结果表明,SLAM3R在重建质量和实时性方面均达到了当前技术的最优水平,能够实现20+ FPS的实时性能。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)

在这里插入图片描述
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)
Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐