“移动机器人导航 + 深度增强学习(DRL)”本质是把导航建模成序贯决策问题:机器人看状态 → 出动作 → 拿奖励 → 学出“安全又高效到达目标”的策略。下面按“问题建模 → 算法选型 → 系统架构 → 关键坑点 → 工程落地”给你一套可复用的知识框架。


1. 导航任务怎么写成 RL 问题

① 状态空间(观测)

  • 自身状态:位姿 (x,y,θ)、速度、角速度

  • 目标信息:相对目标距离、方位角

  • 环境感知:

    • 激光雷达:距离向量 / 占用栅格

    • 视觉:深度图、RGB、语义分割

    • 动态障碍:行人速度、语义类别

  • 记忆信息:LSTM/GRU 隐状态、局部代价地图

② 动作空间

  • 离散:前进/左转/右转/停止(DQN 类)

  • 连续:线速度 v + 角速度 ω(PPO/SAC/DDPG)

  • 高层:输出局部航点(waypoint)

③ 奖励函数(最核心)

典型组合:

  • 到达目标:+大奖励

  • 碰撞:-大惩罚

  • 接近目标:距离缩小给正奖励

  • 偏离全局路径:负奖励

  • 平滑性:惩罚急转、加速度

  • 社会规范:靠近行人额外惩罚(crowd nav)

  • 势能奖励:r = d_t - d_{t+1}(势差奖励,加速收敛)

奖励塑形(reward shaping)比网络结构更影响训练成败。


2. 主流 DRL 算法怎么选

算法动作空间特点导航场景
DQN / DDQN / D3QN离散稳定、易调试简单避障、栅格地图
PPO离散/连续训练稳、工程友好最常用基线
SAC连续样本效率高、探索强四足/轮式连续控制
DDPG/TD3连续确定性策略动态避障
加 RNN/LSTM/Transformer连续/离散处理时序与遮挡动态人群、部分可观

一般建议:

  • 初学/做基线 → PPO

  • 要少样本、平滑控制 → SAC

  • 纯局部避障、轻量部署 → PPO + 小 MLP

  • 动态行人 → LSTM/注意力 + SAC/PPO


3. 典型系统架构(工业界趋势)

方案 A:端到端(End-to-End)

传感器原始数据 → 神经网络 → v, ω

  • 优点:反应快、不需代价地图

  • 缺点:可解释差、难保证全局不迷路

方案 B:分层混合(Hybrid,最实用)

  • 全局层:A* / D* / RRT* / PRM 出参考路径

  • 局部层:DRL 做避障与跟踪

  • 奖励里注入路径偏差项

最新研究基本走向“传统规划 + DRL 局部策略”,兼顾全局可达性与动态避障。

方案 C:层次化 RL(HRL)

  • 高层:选子目标 / 切换行为(沿墙、穿越、等待)

  • 底层:执行具体运动

  • 适合大场景、长时序任务


4. 训练与仿真到现实(Sim-to-Real)

仿真平台

  • Gazebo + ROS 2:生态成熟,Nav2 对比方便

  • Isaac Sim / Isaac Lab:GPU 并行、高保真传感器、域随机化强

  • Stage / CARLA(室外/视觉导航)

训练技巧

  • 课程学习:空场地 → 静态障碍 → 动态行人

  • 域随机化:传感器噪声、延迟、摩擦、质量、光照

  • 观测归一化 + 动作限幅

  • 经验回放(off-policy)、GAE(on-policy)

  • 安全层:速度障碍(VO)/ 刹车护盾,防止 DRL 乱动

部署

  • 策略导出 ONNX / TensorRT

  • 机载推理(Jetson、x86 小模型)

  • 零样本迁移:Isaac 训 → Gazebo 测 → 真机跑


5. 当前研究热点(2024–2026)

  • 动态人群导航:语义感知(人/车/墙不同安全边际)

  • 视觉语言导航(VLN):LLM/VLM 给“去厨房拿杯子”这种指令

  • 无地图导航(mapless):纯激光/深度图直接控

  • 多机器人协同:通信 + 多智能体 RL

  • 安全可证明:约束 RL(CRPO)、贝叶斯安全层

  • 小模型轻量化:<1M 参数、毫秒级推理


6. 常见坑(实战必踩)

  1. 奖励稀疏 → 学不会,用势差奖励/课程学习

  2. 局部最小值 → 没全局引导,纯 DRL 容易转圈

  3. 仿真过拟合 → 真机一碰就傻,域随机化必须做

  4. 动作抖动 → 加平滑惩罚、低通、LSTM 记忆

  5. 训练崩溃 → 奖励尺度太大、PPO 裁剪太狠

  6. 安全边界不够 → 一定要加热备份控制器


7. 最小可跑技术栈(推荐入门)

  • 仿真:Gazebo Harmonic + ROS 2

  • 算法:PPO(Stable-Baselines3 / Isaac Lab / rllib)

  • 状态:激光 180 点 + 相对目标 (dx, dy)

  • 动作:v ∈ [0, 1.0], ω ∈ [-1.0, 1.0]

  • 奖励:

    • 到达 +10

    • 碰撞 -20

    • 每步 -0.01

    • 距离缩小 +0.1*(d_prev-d_now)

  • 先静态避障,再加动态行人

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐