ROS2视觉语言导航与 SLAM 入门路线
ROS 视觉语言导航与 SLAM 入门路线
一、这个方向在做什么
SLAM(同时定位与建图):机器人边逛边画地图,同时时刻知道自己在地图里的位置。想象你闭着眼睛在宿舍里走——边摸墙、边记路线、边数步数,走完一圈脑子里就有了一张宿舍平面图,而且你随时知道自己在图的哪一格。
视觉语言导航(VLN):你说"去门口拿快递",它听懂指令、认出目标、规划路线、走过去。拆开就是三个能力:
| 能力 | 问题 | 对应技术 |
|---|---|---|
| 听懂 | "门口""快递"分别指什么 | 大模型 / 语言解析 |
| 看见 | 眼前这个东西是不是"快递" | 开放词汇目标检测(YOLO-World、GroundingDINO) |
| 走到 | 从当前位置到目标点怎么走 | SLAM 地图 + Nav2 导航栈 |
为什么这两块必须一起学:SLAM 和导航栈是"底座",VLN 是"上层"。只做 VLN 会发现——检测出目标了,但没有地图、没有代价地图、没有控制器,车根本动不了;只做 SLAM 会发现——地图建得再漂亮,也只会"走到你鼠标点的那一点"。
技术栈(从下往上爬):
- C++ / Linux 基础:看得懂代码、会用终端
- ROS2 通信:节点 / 话题 / 服务 / 参数 / launch
- 传感器:激光雷达
/scan、里程计/odom、相机/image - SLAM:Cartographer 建图 → 一张
/map - 导航:Nav2(AMCL 定位 + 全局 / 局部规划)
- 视觉:OpenCV + 开放词汇检测
- 语言:指令 → 目标点 → 动作
二、路线总览:四个阶段
| 阶段 | 目标(能做到什么) | 核心资源 | 关卡 |
|---|---|---|---|
| 阶段 0 | C++ 看得懂代码,否则 subscriber/publisher 都搞不懂 | 随便搜一个 C++ 快速过一遍,把类、继承、友元这些学明白 | 能读懂别人写的类 |
| 阶段 1 | Linux + ROS2 入门 | 鱼香ROS / 古月居 / 阿杰(三选一) | 键盘控制小乌龟 + 打印话题消息 |
| 阶段 2 | 真车建图导航 | WHEELTEC 文档 + Cartographer + Nav2 | 建出完整地图,自主导航到达 |
| 阶段 3 | 视觉 + 语言 | 华工视觉培训 + YOLO-World / VLFM | 认出并走到指定物体旁 |
参考节奏(按每周投入 8~10 小时估算,仅供参考,人和车况差别很大):
| 阶段 | 参考用时 | 说明 |
|---|---|---|
| 阶段 0 | 2~4 周 | 有编程基础的可压缩到几天 |
| 阶段 1 | 3~4 周 | 教程视频不要倍速刷,边看边敲 |
| 阶段 2 | 3~5 周 | 卡在环境/驱动上是常态,不是你的问题 |
| 阶段 3 | 4~8 周 | 优先做"简化版",别一上来就啃 VLFM 全文 |
三、阶段 0:公共基础
-
C++ 要懂,没什么好说的。目标不是"学完 C++",而是能看懂别人写的节点代码,能自己改两行。
如果要快速学基础的话,可以参考 wxt 写的 (https://blog.csdn.net/2502_93181420/article/details/157480197)。
如果想跟着视频走的话,不在乎会花很长的时间的话就听 B 站(https://www.bilibili.com/video/BV1et411b73Z)。
-
科学上网要会——后面装系统、拉 GitHub、下模型权重,全靠它
C++ 必会清单(对 ROS2 上手最关键的一批):
| 类别 | 具体内容 | 为什么用得上 |
|---|---|---|
| 语法基础 | 变量、引用 &、指针、const、数组/字符串 | 读传感器数据结构 |
| 面向对象 | 类、构造/析构、继承、多态(虚函数)、public/protected/private | 每个 ROS2 节点就是一个类 |
| 类的高级 | 友元、运算符重载、静态成员 | 看老代码、看消息类型实现 |
| 标准库 | std::vector、std::string、std::map、std::shared_ptr | ROS2 里到处都是智能指针 |
| 工程 | 头文件与源文件分离、CMake 的一点点概念 | 写 CMakeLists.txt 时不至于发呆 |
验收:能说清"一个类怎么继承另一个类、子类怎么调用父类方法";能看懂一段订阅者(subscriber)代码在干什么。
其实标准库没必要很会,能看懂就行,到时候用到的时候现去查 STL,在(https://www.runoob.com/cplusplus/cpp-tutorial.html)里很容易就能查到,且非常详细。
CMake 呢也不需要掌握,在学 ROS 的时候会一步一步掌握的,我的建议是没必要都学完再去接触 ROS,在写 ROS 的过程中会把之前学过的再进行理解的!!!
四、阶段 1:Linux + ROS2 入门
4.1 装系统
安装 Ubuntu 22.04(虚拟机 / WSL2 / 双系统,《00_公共基础》里有说明)。也不一定非得这个版本,Ubuntu24.04 也可以的:22.04 安装的是 ROS2 Humble 版本,24.04 安装的是 ROS2 Jazzy 版本。没办法说两个版本的好坏,从兼容性来看更偏向于 Humble,从迭代上来看马上 Jazzy 会成为主流。
4.2 装 ROS2 Humble
用鱼香ROS 一键安装:https://www.bilibili.com/video/BV1PT4y1o7JA/ ,装 ROS2 Humble。
这里可以用鱼香ROS的一键安装,鱼香的一键安装写的很好,但是如果你想对 ROS 环境有一个更深的理解的话我建议你跟着 AI 自己去安装一遍,因为有的版本鱼香ROS的一键安装是没有的,如果你要用低版本的 ROS 的时候这样就会很难受。
装完先自检:
printenv ROS_DISTRO # 期望输出 humble
ros2 --version
ros2 pkg list | head # 能列包就说明环境 OK
4.3 三个核心概念(先会用,再看原理)
| 概念 | 是什么 | 生活比喻 | 命令前缀 |
|---|---|---|---|
| 节点 Node | 一个独立的小程序 | 一个独立的 App | ros2 node |
| 话题 Topic | 广播式数据流,谁都能发、谁都能收 | 微信群:有人发,所有人收 | ros2 topic |
| 服务 Service | 一对一问答,请求—响应 | 打电话问客服 | ros2 service |
后面还会遇到参数 Parameter(节点的设置项)、launch 文件(一键启动一堆节点)、bag(录制回放数据)——这几块本文件夹的第 6、10、11 篇笔记已经写得很细了,按顺序读即可。
4.4 教程三选一
推荐 1 或 3,或者直接选陶楚yuan老师的"机器人应用实践"这门课(有老师带、有真车摸,效率最高)。
| 选项 | 资源 | 特点 |
|---|---|---|
| 1 ✅ | 鱼香ROS 171 集系统课 | 含 Linux 基础,最完整,最推荐 |
| 2 | 古月居 21 讲 | ROS1 版,概念通用,注意命令差异 |
| 3 ✅ | 机器人工匠阿杰 77 集 | 侧重仿真、RViz、导航,离阶段 2 最近 |
这里还是推荐 1。教程 3 很好、图文并茂的,但是讲的是 ROS1;最近阿杰也在开 ROS2 的课,但是更新的很慢,可以蹲一波。如果想跟着课程走的话就是课程 1 吧,不要看其他两个了!!!
4.5 重要:ROS1 和 ROS2 是两个世界
你们只学 ROS2。教程里出现 ROS1 命令时,按下表翻译:
| ROS1 | ROS2 | 备注 |
|---|---|---|
roscore | (没有) | ROS2 去中心化,不需要 master |
rosrun pkg node | ros2 run pkg node | 最高频的一条替换 |
roslaunch pkg x.launch | ros2 launch pkg x.launch.py | launch 从 XML 变 Python |
rostopic list / echo | ros2 topic list / ros2 topic echo | |
rosnode list | ros2 node list | |
rosservice call | ros2 service call | |
rosbag record | ros2 bag record | 见第 6 篇笔记 |
catkin_make | colcon build --symlink-install | 构建系统换了 |
source devel/setup.bash | source install/setup.bash | 工作空间目录结构也不同 |
rosmsg show / rossrv show | ros2 interface show |
4.6 上手第一跑:小乌龟
# 终端 1:开一个"世界"
ros2 run turtlesim turtlesim_node
# 终端 2:开键盘遥控(先点一下这个终端,再用方向键开)
ros2 run turtlesim turtle_teleop_key
# 终端 3:看懂系统里在发生什么
ros2 node list
ros2 topic list
# 订阅并打印一条消息,Ctrl+C 退出
ros2 topic echo /turtle1/pose
# 看数据频率
ros2 topic hz /turtle1/pose
# 谁在发、谁在收
ros2 topic info /turtle1/cmd_vel
# 消息长什么样
ros2 interface show geometry_msgs/msg/Twist
ros2 service list
ros2 param list /turtlesim
验收(阶段 1 关卡):
- 能用键盘控制小乌龟走起来
- 能列出当前所有话题,并订阅其中一条、把消息内容打印出来
- 能说清"话题"和"服务"的区别,并各举一个例子
五、阶段 2:真车建图与导航
以陶老师的课程为例。理论上,实验室提供的是 Jetson Nano,比树莓派强好几倍的板子;具体用什么、怎么配,听吴秀通学弟的指挥。
5.1 先把车跑起来(别跳过)
若为 WHEELTEC 车,官方资料三处入口:
| 入口 | 地址 |
|---|---|
| 官网 | 首页-轮趣科技(东莞)有限公司 |
| 文档站 | WHEELTEC ROS机器人与鲁班猫1S使用手册 — WHEELTEC ROS机器人与鲁班猫1S使用手册 V1.0 文档 |
| 文档仓库 | https://github.com/wheeltec/docs |
必须按官方手册走完:烧录镜像 → 连网(WiFi / 有线 / SSH)→ 遥控跑起来。这一步是后面所有内容的地基,很多人图省事跳过去,结果建图阶段花三倍时间查一个"遥控都没配好"的问题。
5.2 从传感器到地图:整条链路
| 环节 | 数据 / 话题 | 你要知道的事 |
|---|---|---|
| 激光雷达 | /scan(2D 扫描测距) | 一圈一圈测距离,画出障碍物的轮廓 |
| 轮式里程计 | /odom + tf: odom → base_link | 用轮子转速 × 时间估位移,会漂 |
| IMU | /imu | 角速度/加速度,常和轮式里程计做 EKF 融合(robot_localization) |
| Cartographer | 输入 /scan + tf(+ /imu) | 用扫描匹配纠正漂移,输出 /map 和 map → odom 的 TF |
| Nav2 | 输入 /map + 实时 /scan + 定位 | 规划路径、避障,输出 /cmd_vel 给底盘 |
一句话:雷达给"轮廓",里程计给"大概动了多远",Cartographer 用轮廓去纠正里程计的漂移——所以建图漂、地图歪,先查里程计标定和雷达安装,再查算法参数。
5.3 Cartographer 建图
参考:https://github.com/cartographer-project/cartographer(WHEELTEC 已把配置和 launch 文件包好,直接调用即可)。
# 1. 起底盘、雷达、TF(包名以 WHEELTEC 手册为准)
ros2 launch <车_bringup> <底盘+雷达>.py
# 2. 起 Cartographer
ros2 launch <车_slam> <建图>.py
# 3. 遥控带车低速逛一圈,每个房间都走一遍
# RViz 里能看到地图长出来
# 4. 存地图(另开终端),出 lab.pgm + lab.yaml
ros2 run nav2_map_server map_saver_cli -f ~/maps/lab
# 想续建图就存 pbstream(服务名/字段以版本为准)
ros2 service call /write_state \
cartographer_ros_msgs/srv/WriteState \
"{filename: '/home/robot/maps/lab.pbstream'}"
建图质量自查(地图歪、墙重影、回环对不上时按顺序查):
- TF 树是否完整:
ros2 run tf2_tools view_frames,看map → odom → base_link → laser有没有断。 - 里程计标定:直走 1 m 看
/odom走了多少,原地转 360° 看角度差多少——差得多就先修这个,改参数没用。 - 雷达安装:高度、角度、
laser到base_link的外参是不是手册值。 - 扫描质量:玻璃、镜面、黑色吸光物体会测不到,别误判成算法坏了。
- 建图手法:低速、走闭合回路(回环检测才起作用)、边走边转,别在一个点原地转。
5.4 Nav2 导航
文档:Redirecting。
# 官方 demo 先在仿真里跑一遍,再上真车(强烈建议)
ros2 launch nav2_bringup tb3_simulation_launch.py \
headless:=False
# 真车:用自己建的地图起导航
ros2 launch nav2_bringup bringup_launch.py \
map:=$HOME/maps/lab.yaml
Nav2 里几个必须认识的节点(叫"服务器"):
| 节点 | 职责 | 类比 |
|---|---|---|
map_server | 加载你建的地图 | 摊开地图 |
amcl | 在地图里定位(粒子滤波) | 在地图上找"我在哪" |
planner_server | 全局规划(A*、Smac) | 出门前定大方向 |
controller_server | 局部控制(DWB、MPPI) | 边走边躲人 |
bt_navigator | 行为树调度 | 总指挥 |
behavior_server | 卡住时的脱困动作(转圈、后退) | 自救 |
使用流程:RViz 里先用 2D Pose Estimate 拖一下告诉车"你现在大概在这" → 再用 2D Goal Pose 点目标点 → 车自己规划并开过去。
验收(阶段 2 关卡):
- 遥控带车把要用的区域逛一圈,建出完整、能对上的地图(墙不重影、房间闭合)
- 用这张地图起 Nav2,给一个目标点,车自主导航到达(不撞、不卡死)
- 能说清
/map、/odom、/scan、/cmd_vel各是谁发的、谁收的
安全:真车调试永远先低速,人跟着车,手放在急停/断电上,随时能停;电池充电用原装充电器。
六、阶段 3:视觉 + 语言
到这一步你已经有"地图 + 能自主走的车",剩下的是让它看见并听懂。
6.1 OpenCV 入门 + 相机标定
- 教程:华工视觉方向培训 7 讲,从 https://www.bilibili.com/video/BV1Ur4y1b7cu/ 开始。
- 必会:读图/读视频流 → 色彩空间(BGR/HSV)→ 阈值分割 → 轮廓/画框 → 坐标变换。
- 相机标定(别跳过):用棋盘格求内参和畸变系数 → 去畸变 → 深度图与彩色图对齐。不标定的话,"检测框中心 → 三维坐标"会一直算不准。
6.2 开放词汇目标检测(不用自己训练模型)
跑通 YOLO-World 或 GroundingDINO:你说要找"红色水杯",它就能把它圈出来,模型是现成的,改文字 prompt 就行。
| 模型 | 特点 | 适合 |
|---|---|---|
| YOLO-World | 速度快,实时性好 | 上真车、跑闭环 |
| GroundingDINO | 零样本精度高,速度慢 | 离线验证、做对照 |
6.3 语言导航进阶(先知道是什么)
| 项目 | 一句话 | 门槛 |
|---|---|---|
| VLFM | 视觉-语言 frontier 地图:用 VLM 给地图上的"未知区域边界"打分,挑最可能有目标的方向去探索 | 先知道是什么、能跑通 demo 更好;要仿真环境 + 大模型/API |
| OK-Robot | 语言指令抓放:说一句"把苹果放到盘子里",机器人自己找、抓、放 | 硬件门槛高(机械臂+移动底盘),当"未来形态"看 |
落地方案:把 VLN 拆成一条能跑的简化链(这才是阶段 3 真正该做的东西):
语言指令 → 提取目标类别 → 开放词汇检测 + 深度图 → TF 换到
map→ Nav2 目标点 → 车开过去
具体六步:
- 输入指令:"去门口拿快递"
- 解析目标:提取类别 = 快递
- 看见目标:开放词汇检测出框(bbox),再配合深度图取框中心深度,反投影成相机系 3D 点
- 换坐标系:TF 变换,相机系 →
map坐标系 - 发目标:生成 Nav2 目标点,调
navigate_to_pose - 开过去:车自主导航到物体旁;没看到目标就原地转一圈 / 换个角度,回到第 3 步再看
对应代码(伪代码,示意用,不是完整节点):
# 检测框 → 地图目标点
# 开放词汇检测
det = detector(prompt="快递盒", frame=color_img)
# 框中心像素
u, v = center_of(det[0].bbox)
# 中心小窗深度中位数,防噪点
d = median(depth_img[v-5:v+5, u-5:u+5])
# 内参反投影 → 相机系 3D 点
p_cam = deproject(u, v, d, K)
# 相机系 → 地图系
p_map = tf_buffer.transform(p_cam, "map")
# 停在目标前 0.6 m,别撞上去
navigate_to(p_map.x - 0.6, p_map.y)
6.4 更远的进阶(不着急)
- ORB-SLAM3:https://github.com/UZ-SLAMLab/ORB_SLAM3,视觉 SLAM,编译要 OpenCV / Pangolin / Eigen,坑不少。
- 《视觉 SLAM 十四讲》:偏难,把前面的东西跑熟再碰。
验收(阶段 3 关卡,二选一即可):
- 小车认出并走到一个指定物体旁(例如"走到红色水杯旁边")
- 调用大模型,把一句自然语言指令变成导航目标并执行(例如"去门口拿快递")
七、资源清单
| 名称 | 用途 | 链接 |
|---|---|---|
| ROS2 Humble 文档 | 官方文档,查命令/接口 | docs.ros.org |
| Nav2 文档 | 导航栈,阶段 2 主战场 | docs.nav2.org |
| 鱼香ROS | 一键安装 + 171 集系统课 | 一键安装 · 171 集 |
| WHEELTEC 文档 | 真车手册(先看这个) | lubancat 文档站 · GitHub 文档仓库 |
| Cartographer | 激光 SLAM 建图 | GitHub |
| ORB-SLAM3 | 视觉 SLAM(进阶) | GitHub |
| VLFM | 视觉语言导航 | GitHub |
| OK-Robot | 语言指令抓放 | 主页 · GitHub |
| YOLO-World | 开放词汇检测(快) | GitHub |
| GroundingDINO | 开放词汇检测(准) | GitHub |
| 华工视觉培训 | OpenCV / 视觉入门 | B 站 |
八、常见坑
- 环境装不上:网络问题排第一(见《00_公共基础》第 10 节)。国内装 ROS 一定先配好源和代理,别硬刚。
- ROS1 / ROS2 教程混着看、命令跑不通:认准 ROS2 Humble,教程里
rosrun一律换成ros2 run(对照表见 4.5)。 - 建图漂、地图歪:先查里程计标定和雷达安装,再查算法参数。顺序错了会白调一整天。
- 车撞东西:真车调试永远先低速,人跟着车,随时急停;电池充电用原装充电器。
- 老域名失效:
docs.wheeltec.net已无法访问,认准 lubancat 文档站 和 GitHub 文档仓库。 - 补充:阶段 2 之前先在仿真里把 Nav2 demo 跑通,再上真车——仿真里的坑是十分钟能查完的,真车上的坑是一天。
九、验收自检表
| 阶段 | 验收动作 | 过关标准 | 状态 |
|---|---|---|---|
| 0 | 读一段 ROS2 节点的 C++ 代码 | 能指出类、继承、订阅者回调在哪 | ☐ |
| 1 | 键盘控制小乌龟 + 订阅打印一条消息 | ros2 topic echo 能刷出数据 | ☐ |
| 2 | 遥控建图 | 地图完整、墙不重影、房间闭合 | ☐ |
| 2 | 给定目标点自主导航 | 车自己开过去,不撞不卡 | ☐ |
| 3 | 指定物体 | 认出并走到物体旁(或语言指令→导航目标) | ☐ |
十、小结
这条路线只有一句话:先把车开起来,再让它知道自己在哪,再让它听懂你要去哪。
- 阶段 0 打底:C++ 看懂类、继承、友元。
- 阶段 1 打通通信:节点、话题、服务、launch,小乌龟开起来。
- 阶段 2 上真车:手册跑通 → Cartographer 建图 → Nav2 导到目标点。
- 阶段 3 加脑子:OpenCV + 开放词汇检测 → 检测框变地图目标点 → 自然的语言指令。
每一阶段都有一个明确的验收动作,过不了就不往下走。剩下的,交给时间和车上的那些坑。
更多推荐
所有评论(0)