ROS 视觉语言导航与 SLAM 入门路线

一、这个方向在做什么

SLAM(同时定位与建图):机器人边逛边画地图,同时时刻知道自己在地图里的位置。想象你闭着眼睛在宿舍里走——边摸墙、边记路线、边数步数,走完一圈脑子里就有了一张宿舍平面图,而且你随时知道自己在图的哪一格。

视觉语言导航(VLN):你说"去门口拿快递",它听懂指令、认出目标、规划路线、走过去。拆开就是三个能力:

能力问题对应技术
听懂"门口""快递"分别指什么大模型 / 语言解析
看见眼前这个东西是不是"快递"开放词汇目标检测(YOLO-World、GroundingDINO)
走到从当前位置到目标点怎么走SLAM 地图 + Nav2 导航栈

为什么这两块必须一起学:SLAM 和导航栈是"底座",VLN 是"上层"。只做 VLN 会发现——检测出目标了,但没有地图、没有代价地图、没有控制器,车根本动不了;只做 SLAM 会发现——地图建得再漂亮,也只会"走到你鼠标点的那一点"。

技术栈(从下往上爬):

  1. C++ / Linux 基础:看得懂代码、会用终端
  2. ROS2 通信:节点 / 话题 / 服务 / 参数 / launch
  3. 传感器:激光雷达 /scan、里程计 /odom、相机 /image
  4. SLAM:Cartographer 建图 → 一张 /map
  5. 导航:Nav2(AMCL 定位 + 全局 / 局部规划)
  6. 视觉:OpenCV + 开放词汇检测
  7. 语言:指令 → 目标点 → 动作

二、路线总览:四个阶段

阶段目标(能做到什么)核心资源关卡
阶段 0C++ 看得懂代码,否则 subscriber/publisher 都搞不懂随便搜一个 C++ 快速过一遍,把类、继承、友元这些学明白能读懂别人写的类
阶段 1Linux + ROS2 入门鱼香ROS / 古月居 / 阿杰(三选一)键盘控制小乌龟 + 打印话题消息
阶段 2真车建图导航WHEELTEC 文档 + Cartographer + Nav2建出完整地图,自主导航到达
阶段 3视觉 + 语言华工视觉培训 + YOLO-World / VLFM认出并走到指定物体旁

参考节奏(按每周投入 8~10 小时估算,仅供参考,人和车况差别很大):

阶段参考用时说明
阶段 02~4 周有编程基础的可压缩到几天
阶段 13~4 周教程视频不要倍速刷,边看边敲
阶段 23~5 周卡在环境/驱动上是常态,不是你的问题
阶段 34~8 周优先做"简化版",别一上来就啃 VLFM 全文

三、阶段 0:公共基础

C++ 必会清单(对 ROS2 上手最关键的一批):

类别具体内容为什么用得上
语法基础变量、引用 &、指针、const、数组/字符串读传感器数据结构
面向对象类、构造/析构、继承、多态(虚函数)、public/protected/private每个 ROS2 节点就是一个类
类的高级友元、运算符重载、静态成员看老代码、看消息类型实现
标准库std::vector、std::string、std::map、std::shared_ptrROS2 里到处都是智能指针
工程头文件与源文件分离、CMake 的一点点概念写 CMakeLists.txt 时不至于发呆

验收:能说清"一个类怎么继承另一个类、子类怎么调用父类方法";能看懂一段订阅者(subscriber)代码在干什么。

其实标准库没必要很会,能看懂就行,到时候用到的时候现去查 STL,在(https://www.runoob.com/cplusplus/cpp-tutorial.html)里很容易就能查到,且非常详细。

CMake 呢也不需要掌握,在学 ROS 的时候会一步一步掌握的,我的建议是没必要都学完再去接触 ROS,在写 ROS 的过程中会把之前学过的再进行理解的!!!


四、阶段 1:Linux + ROS2 入门

4.1 装系统

安装 Ubuntu 22.04(虚拟机 / WSL2 / 双系统,《00_公共基础》里有说明)。也不一定非得这个版本,Ubuntu24.04 也可以的:22.04 安装的是 ROS2 Humble 版本,24.04 安装的是 ROS2 Jazzy 版本。没办法说两个版本的好坏,从兼容性来看更偏向于 Humble,从迭代上来看马上 Jazzy 会成为主流。

4.2 装 ROS2 Humble

用鱼香ROS 一键安装:https://www.bilibili.com/video/BV1PT4y1o7JA/ ,装 ROS2 Humble。

这里可以用鱼香ROS的一键安装,鱼香的一键安装写的很好,但是如果你想对 ROS 环境有一个更深的理解的话我建议你跟着 AI 自己去安装一遍,因为有的版本鱼香ROS的一键安装是没有的,如果你要用低版本的 ROS 的时候这样就会很难受。

装完先自检:

printenv ROS_DISTRO      # 期望输出 humble
ros2 --version
ros2 pkg list | head     # 能列包就说明环境 OK

4.3 三个核心概念(先会用,再看原理)

概念是什么生活比喻命令前缀
节点 Node一个独立的小程序一个独立的 Appros2 node
话题 Topic广播式数据流,谁都能发、谁都能收微信群:有人发,所有人收ros2 topic
服务 Service一对一问答,请求—响应打电话问客服ros2 service

后面还会遇到参数 Parameter(节点的设置项)、launch 文件(一键启动一堆节点)、bag(录制回放数据)——这几块本文件夹的第 6、10、11 篇笔记已经写得很细了,按顺序读即可。

4.4 教程三选一

推荐 1 或 3,或者直接选陶楚yuan老师的"机器人应用实践"这门课(有老师带、有真车摸,效率最高)。

选项资源特点
1 ✅鱼香ROS 171 集系统课含 Linux 基础,最完整,最推荐
2古月居 21 讲ROS1 版,概念通用,注意命令差异
3 ✅机器人工匠阿杰 77 集侧重仿真、RViz、导航,离阶段 2 最近

这里还是推荐 1。教程 3 很好、图文并茂的,但是讲的是 ROS1;最近阿杰也在开 ROS2 的课,但是更新的很慢,可以蹲一波。如果想跟着课程走的话就是课程 1 吧,不要看其他两个了!!!

4.5 重要:ROS1 和 ROS2 是两个世界

你们只学 ROS2。教程里出现 ROS1 命令时,按下表翻译:

ROS1ROS2备注
roscore(没有)ROS2 去中心化,不需要 master
rosrun pkg noderos2 run pkg node最高频的一条替换
roslaunch pkg x.launchros2 launch pkg x.launch.pylaunch 从 XML 变 Python
rostopic list / echoros2 topic list / ros2 topic echo
rosnode listros2 node list
rosservice callros2 service call
rosbag recordros2 bag record见第 6 篇笔记
catkin_makecolcon build --symlink-install构建系统换了
source devel/setup.bashsource install/setup.bash工作空间目录结构也不同
rosmsg show / rossrv showros2 interface show

4.6 上手第一跑:小乌龟

# 终端 1:开一个"世界"
ros2 run turtlesim turtlesim_node

# 终端 2:开键盘遥控(先点一下这个终端,再用方向键开)
ros2 run turtlesim turtle_teleop_key

# 终端 3:看懂系统里在发生什么
ros2 node list
ros2 topic list
# 订阅并打印一条消息,Ctrl+C 退出
ros2 topic echo /turtle1/pose
# 看数据频率
ros2 topic hz /turtle1/pose
# 谁在发、谁在收
ros2 topic info /turtle1/cmd_vel
# 消息长什么样
ros2 interface show geometry_msgs/msg/Twist
ros2 service list
ros2 param list /turtlesim

验收(阶段 1 关卡):

  • 能用键盘控制小乌龟走起来
  • 能列出当前所有话题,并订阅其中一条、把消息内容打印出来
  • 能说清"话题"和"服务"的区别,并各举一个例子

五、阶段 2:真车建图与导航

以陶老师的课程为例。理论上,实验室提供的是 Jetson Nano,比树莓派强好几倍的板子;具体用什么、怎么配,听吴秀通学弟的指挥。

5.1 先把车跑起来(别跳过)

若为 WHEELTEC 车,官方资料三处入口:

入口地址
官网首页-轮趣科技(东莞)有限公司
文档站WHEELTEC ROS机器人与鲁班猫1S使用手册 — WHEELTEC ROS机器人与鲁班猫1S使用手册 V1.0 文档
文档仓库https://github.com/wheeltec/docs

必须按官方手册走完:烧录镜像 → 连网(WiFi / 有线 / SSH)→ 遥控跑起来。这一步是后面所有内容的地基,很多人图省事跳过去,结果建图阶段花三倍时间查一个"遥控都没配好"的问题。

5.2 从传感器到地图:整条链路

环节数据 / 话题你要知道的事
激光雷达/scan(2D 扫描测距)一圈一圈测距离,画出障碍物的轮廓
轮式里程计/odom + tf: odom → base_link用轮子转速 × 时间估位移,会漂
IMU/imu角速度/加速度,常和轮式里程计做 EKF 融合(robot_localization)
Cartographer输入 /scan + tf(+ /imu)用扫描匹配纠正漂移,输出 /map 和 map → odom 的 TF
Nav2输入 /map + 实时 /scan + 定位规划路径、避障,输出 /cmd_vel 给底盘

一句话:雷达给"轮廓",里程计给"大概动了多远",Cartographer 用轮廓去纠正里程计的漂移——所以建图漂、地图歪,先查里程计标定和雷达安装,再查算法参数。

5.3 Cartographer 建图

参考:https://github.com/cartographer-project/cartographer(WHEELTEC 已把配置和 launch 文件包好,直接调用即可)。

# 1. 起底盘、雷达、TF(包名以 WHEELTEC 手册为准)
ros2 launch <车_bringup> <底盘+雷达>.py

# 2. 起 Cartographer
ros2 launch <车_slam> <建图>.py

# 3. 遥控带车低速逛一圈,每个房间都走一遍
#    RViz 里能看到地图长出来

# 4. 存地图(另开终端),出 lab.pgm + lab.yaml
ros2 run nav2_map_server map_saver_cli -f ~/maps/lab

# 想续建图就存 pbstream(服务名/字段以版本为准)
ros2 service call /write_state \
  cartographer_ros_msgs/srv/WriteState \
  "{filename: '/home/robot/maps/lab.pbstream'}"

建图质量自查(地图歪、墙重影、回环对不上时按顺序查):

  1. TF 树是否完整:ros2 run tf2_tools view_frames,看 map → odom → base_link → laser 有没有断。
  2. 里程计标定:直走 1 m 看 /odom 走了多少,原地转 360° 看角度差多少——差得多就先修这个,改参数没用。
  3. 雷达安装:高度、角度、laser 到 base_link 的外参是不是手册值。
  4. 扫描质量:玻璃、镜面、黑色吸光物体会测不到,别误判成算法坏了。
  5. 建图手法:低速、走闭合回路(回环检测才起作用)、边走边转,别在一个点原地转。

5.4 Nav2 导航

文档:Redirecting。

# 官方 demo 先在仿真里跑一遍,再上真车(强烈建议)
ros2 launch nav2_bringup tb3_simulation_launch.py \
  headless:=False

# 真车:用自己建的地图起导航
ros2 launch nav2_bringup bringup_launch.py \
  map:=$HOME/maps/lab.yaml

Nav2 里几个必须认识的节点(叫"服务器"):

节点职责类比
map_server加载你建的地图摊开地图
amcl在地图里定位(粒子滤波)在地图上找"我在哪"
planner_server全局规划(A*、Smac)出门前定大方向
controller_server局部控制(DWB、MPPI)边走边躲人
bt_navigator行为树调度总指挥
behavior_server卡住时的脱困动作(转圈、后退)自救

使用流程:RViz 里先用 2D Pose Estimate 拖一下告诉车"你现在大概在这" → 再用 2D Goal Pose 点目标点 → 车自己规划并开过去。

验收(阶段 2 关卡):

  • 遥控带车把要用的区域逛一圈,建出完整、能对上的地图(墙不重影、房间闭合)
  • 用这张地图起 Nav2,给一个目标点,车自主导航到达(不撞、不卡死)
  • 能说清 /map、/odom、/scan、/cmd_vel 各是谁发的、谁收的

安全:真车调试永远先低速,人跟着车,手放在急停/断电上,随时能停;电池充电用原装充电器。


六、阶段 3:视觉 + 语言

到这一步你已经有"地图 + 能自主走的车",剩下的是让它看见并听懂。

6.1 OpenCV 入门 + 相机标定

  • 教程:华工视觉方向培训 7 讲,从 https://www.bilibili.com/video/BV1Ur4y1b7cu/ 开始。
  • 必会:读图/读视频流 → 色彩空间(BGR/HSV)→ 阈值分割 → 轮廓/画框 → 坐标变换。
  • 相机标定(别跳过):用棋盘格求内参和畸变系数 → 去畸变 → 深度图与彩色图对齐。不标定的话,"检测框中心 → 三维坐标"会一直算不准。

6.2 开放词汇目标检测(不用自己训练模型)

跑通 YOLO-World 或 GroundingDINO:你说要找"红色水杯",它就能把它圈出来,模型是现成的,改文字 prompt 就行。

模型特点适合
YOLO-World速度快,实时性好上真车、跑闭环
GroundingDINO零样本精度高,速度慢离线验证、做对照

6.3 语言导航进阶(先知道是什么)

项目一句话门槛
VLFM视觉-语言 frontier 地图:用 VLM 给地图上的"未知区域边界"打分,挑最可能有目标的方向去探索先知道是什么、能跑通 demo 更好;要仿真环境 + 大模型/API
OK-Robot语言指令抓放:说一句"把苹果放到盘子里",机器人自己找、抓、放硬件门槛高(机械臂+移动底盘),当"未来形态"看

落地方案:把 VLN 拆成一条能跑的简化链(这才是阶段 3 真正该做的东西):

语言指令 → 提取目标类别 → 开放词汇检测 + 深度图 → TF 换到 map → Nav2 目标点 → 车开过去

具体六步:

  1. 输入指令:"去门口拿快递"
  2. 解析目标:提取类别 = 快递
  3. 看见目标:开放词汇检测出框(bbox),再配合深度图取框中心深度,反投影成相机系 3D 点
  4. 换坐标系:TF 变换,相机系 → map 坐标系
  5. 发目标:生成 Nav2 目标点,调 navigate_to_pose
  6. 开过去:车自主导航到物体旁;没看到目标就原地转一圈 / 换个角度,回到第 3 步再看

对应代码(伪代码,示意用,不是完整节点):

# 检测框 → 地图目标点
# 开放词汇检测
det = detector(prompt="快递盒", frame=color_img)
# 框中心像素
u, v = center_of(det[0].bbox)
# 中心小窗深度中位数,防噪点
d = median(depth_img[v-5:v+5, u-5:u+5])
# 内参反投影 → 相机系 3D 点
p_cam = deproject(u, v, d, K)
# 相机系 → 地图系
p_map = tf_buffer.transform(p_cam, "map")
# 停在目标前 0.6 m,别撞上去
navigate_to(p_map.x - 0.6, p_map.y)

6.4 更远的进阶(不着急)

验收(阶段 3 关卡,二选一即可):

  • 小车认出并走到一个指定物体旁(例如"走到红色水杯旁边")
  • 调用大模型,把一句自然语言指令变成导航目标并执行(例如"去门口拿快递")

七、资源清单

名称用途链接
ROS2 Humble 文档官方文档,查命令/接口docs.ros.org
Nav2 文档导航栈,阶段 2 主战场docs.nav2.org
鱼香ROS一键安装 + 171 集系统课一键安装 · 171 集
WHEELTEC 文档真车手册(先看这个)lubancat 文档站 · GitHub 文档仓库
Cartographer激光 SLAM 建图GitHub
ORB-SLAM3视觉 SLAM(进阶)GitHub
VLFM视觉语言导航GitHub
OK-Robot语言指令抓放主页 · GitHub
YOLO-World开放词汇检测(快)GitHub
GroundingDINO开放词汇检测(准)GitHub
华工视觉培训OpenCV / 视觉入门B 站

八、常见坑

  1. 环境装不上:网络问题排第一(见《00_公共基础》第 10 节)。国内装 ROS 一定先配好源和代理,别硬刚。
  2. ROS1 / ROS2 教程混着看、命令跑不通:认准 ROS2 Humble,教程里 rosrun 一律换成 ros2 run(对照表见 4.5)。
  3. 建图漂、地图歪:先查里程计标定和雷达安装,再查算法参数。顺序错了会白调一整天。
  4. 车撞东西:真车调试永远先低速,人跟着车,随时急停;电池充电用原装充电器。
  5. 老域名失效:docs.wheeltec.net 已无法访问,认准 lubancat 文档站 和 GitHub 文档仓库。
  6. 补充:阶段 2 之前先在仿真里把 Nav2 demo 跑通,再上真车——仿真里的坑是十分钟能查完的,真车上的坑是一天。

九、验收自检表

阶段验收动作过关标准状态
0读一段 ROS2 节点的 C++ 代码能指出类、继承、订阅者回调在哪☐
1键盘控制小乌龟 + 订阅打印一条消息ros2 topic echo 能刷出数据☐
2遥控建图地图完整、墙不重影、房间闭合☐
2给定目标点自主导航车自己开过去,不撞不卡☐
3指定物体认出并走到物体旁(或语言指令→导航目标)☐

十、小结

这条路线只有一句话:先把车开起来,再让它知道自己在哪,再让它听懂你要去哪。

  • 阶段 0 打底:C++ 看懂类、继承、友元。
  • 阶段 1 打通通信:节点、话题、服务、launch,小乌龟开起来。
  • 阶段 2 上真车:手册跑通 → Cartographer 建图 → Nav2 导到目标点。
  • 阶段 3 加脑子:OpenCV + 开放词汇检测 → 检测框变地图目标点 → 自然的语言指令。

每一阶段都有一个明确的验收动作,过不了就不往下走。剩下的,交给时间和车上的那些坑。

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐