沾上“具身智能”这个词的机器人项目,这两年我接触过不少,但十个里有八个团队聊到最后,都会卡在同一个问题上:模型结构可以抄,算力可以租,但训练数据到底从哪来?这个问题如果不搞清楚,后面所有的“二次开发”“场景落地”都会变成空中楼阁。今天我就把数据这件事拆开揉碎讲清楚,顺带聊聊为什么全行业都喊“数据不够用”。这篇文章既写给准备入行做具身智能学习路线规划的初学者,也写给已经在做机械臂、机器人导航项目、正被数据折腾得头疼的工程师朋友,希望能帮你们少踩几个坑。

1. 先搞清楚一个问题:具身智能的训练数据到底在“训练”什么

很多朋友从计算机视觉或者自然语言处理转过来,第一个不适应的点就是:数据的形式完全不同。以前做YOLOv8训练自己的数据集,你要的是“图像+标注框”;做语言模型,你要的是“文本序列”。但到了具身智能这里,数据变成了一个多模态的、时序的、带有动作反馈的闭环序列。它不是一张图,也不是一行字,而是一段“经验”。

1.1 和LLM预训练数据的本质差别

大语言模型的数据本质上是人类知识的外化,互联网上已经有海量的文本,爬虫一跑就能拿到几个T。但机器人的训练数据不一样,它包含的是“物理世界中的交互经验”。你可以把文本理解成一本菜谱,而机器人的数据是“一个真人厨师从备菜到出锅的完整过程录像”,而且还得包含每一步手部的力道、角度、锅铲运动轨迹,甚至失败后怎么纠正。

这就带来一个很现实的问题:具身智能的数据没有现成的“互联网仓库”可爬。OpenAI之前训练大模型那套“滚雪球式”的数据策略,在机器人领域直接失效了。因为物理世界的交互数据不是天然存在于某个数据库里的,你得让机器人真的去动、去碰、去试错,才能拿到数据。

1.2 数据的形式:不是单帧,而是“感知-动作”闭环

具体到数据格式,一条标准的具身智能数据集通常包含这么几部分:

  • 传感器输入:RGB图像、深度图、点云、触觉信号、力/力矩传感器读数、IMU数据等。
  • 本体状态:机械臂每个关节的角度、角速度、末端执行器的位姿,移动机器人的轮速计读数、里程计信息。
  • 动作指令:操作指令、关节目标位置、速度模式下的控制量,或者更底层的扭矩指令。
  • 任务描述:自然语言指令(“把红色方块放到蓝色杯子里”)或目标图像。
  • 时序信息:以上所有数据的时间戳对齐,保证感知和控制是同步的。

换句话说,数据不是一个静态的“正确答案”,而是一个动态的“决策过程”。机器人在每个时间步观察到什么、决定做什么动作、动作产生了什么结果,这些信息必须连贯地串在一起。这也是为什么很多做CV出身的朋友刚转过来时特别不习惯,他们习惯处理“独立的图像样本”,但具身智能的数据是“有因果关系的时间序列”。

这里我就想起了斯坦福的ALOHA、Google的RT-1这些知名项目,它们的核心贡献不只是模型架构,更重要的是公开了一套高质量的数据采集方案和数据集格式。大家如果去翻RT-1的数据集就会发现,每条数据都经过了精细的时间对齐和动作标注,这是后来很多团队复现时最容易忽略的地方。

2. 今天这些数据都是从哪里收集来的

既然数据这么关键,那现在业界到底怎么搞数据?我梳理下来,目前主流的数据来源有四条路:真实世界人工采集(遥操作)、互联网视频(视频学习)、仿真引擎合成(合成数据)、真实设备自主运行(强化学习)。

2.1 遥操作:最直接,但也是成本最“肉疼”的一条路

遥操作是目前高质量数据的主要来源。简单说,就是人戴着动捕设备或者操作主手,远程操控真实机器人完成各种任务,同时把传感器数据和控制指令全部记录下来。

这种做法相当于“机器人借人的智能来学习”,示范的动作质量高、语义清晰,数据是标准的“专家示范”。Google的RT-1数据集、斯坦福的ALOHA(也就是炒菜的Mobile ALOHA)、以及国内智元、银河通用等团队早期的数据,很大程度上依赖于遥操作采集。

但遥操作的痛点非常明显: 慢 和 贵 。

我见过一个团队做机械臂插拔插头的任务,一个熟练的操作员,每分钟能完成2次完整示范,每次示范大约需要记录10到15秒的数据。为了覆盖插头型号、插入角度、力度变化等因素,他们计划采5000条数据。算下来纯采集时间就要60到100个小时,这还没算每天的设备调试、操作员休息、异常处理和清洗标注。如果按人力成本算,一条有效数据可能几十块钱,5000条就是几十万,而这只是单一任务。

所以现在的趋势是:遥操作数据只用来做“种子数据”,用来初始化策略,或者用来做对齐,真正的规模扩张还得靠其他途径。如果哪个团队宣称自己“全量数据靠遥操作”,要么是真的有矿,要么是对数据量级还没概念。

2.2 互联网视频:量大管饱,但“看不见的手”是个大问题

互联网上的视频数据几乎是无穷无尽的。YouTube、B站、短视频平台上有海量的做饭、整理收纳、维修、手工制作视频,这些视频展示了丰富的物理交互过程,而且免费。

这种数据对应的是“视频学习”路线,代表做法是李飞飞团队的具身智能工作,以及一些利用人形机器人执行视频里动作的VLA模型。他们让模型看大量人类操作视频,先学会“人类大概是怎么做这件事的”,再去迁移到机器人本体上。

听起来很完美,但有个致命问题:视频里只有“看得见的手”,没有“看不见的力”和“本体状态”。你看到一个博主轻松地把杯子拿起来,但你不知道他手指施加了多少力,手腕旋转了多少度,碰到桌面之前用了多大的接近速度。这些信息对机器人至关重要,因为机器人的动作控制不能只靠视觉,力矩、速度、位置这些底层量必须精确到数值。

所以视频数据的价值更多体现在“语义理解”和“任务规划”层面,比如机器人看到“把鸡蛋打到碗里”这段视频,能理解任务的目标是什么,可以分解成哪些子步骤,但到了具体执行环节,还需要真机数据或者仿真数据来补全“动作层”的信息。

换句话说,视频数据是“文科生”,能写文章但不会拧螺丝;遥操作数据是“工科生”,会拧螺丝但产量太低。

2.3 仿真合成:看起来最完美,其实坑也不少

仿真环境(比如MuJoCo、Isaac Gym、Isaac Sim、SAPIEN)可以批量生成训练数据。一个虚拟场景,你可以随意变换光照、物体材质、摆放位置、机器人型号,跑强化学习算法让机器人自己试错,一次训练能产生几百万条交互数据。

这个路线是“大力出奇迹”的思路,数据量是真的大,而且免费、安全、可并行。用强化学习在仿真里训练策略,再用sim-to-real(仿真到现实迁移)部署到实体机器人上,已经成为机器人抓取、操作、运动控制领域的主流范式。

但Sim-to-Real的gap(差距)是所有人绕不过去的坎。仿真里的物理和现实世界的物理永远有误差,摩擦力、接触形变、传感器噪声、执行器延迟,这些细微差距在单个动作上可能没什么影响,但累积起来就会让机器人出现“训练时很好、实机时翻车”的情况。

我见过一个团队在Isaac Sim里训练机械臂抓取透明水杯,仿真里成功率到95%,一上真机掉到30%多。后来一查,问题出在仿真里没有正确模拟玻璃的镜面反射和透明折射,视觉模型在仿真里看到的“杯子”和真实摄像头看到的完全不是一回事。这就是典型的DOMAIN RANDOMIZATION(域随机化)没做透——在仿真里只随机了物体的位置,没有随机材质和光照。

所以仿真数据很重要,但它更适合做“预训练”,也就是让模型先具备基本能力,最后一步用少量真实数据来做“微调”。想全用仿真数据直接落地,目前还没有成熟到那个程度。

2.4 真实设备的自主运行:看着美,吃时间

还有一条路,就是让机器人在受控环境里自主运行,自己探索、自己试错,自动产生数据。这其实是强化学习在真实世界的应用,机器人一开始什么都不会,靠随机探索和奖励信号,一点点学会完成任务。

这条路的优点是数据完全来自真实物理环境,没有任何仿真gap的问题;但缺点是训练效率极其低下。真实机器人不能像仿真里那样几千个并行跑,一次只能跑一台,而且探索阶段会做大量无效动作,还有安全隐患。考虑一下让一台机械臂自己随机扭来扭去学抓取,这动作没轻没重,很容易把周围设备甚至自己给敲坏。

所以现在真正采用“真机强化学习”的团队并不多,主要集中在一些动作幅度小、环境固定、安全风险可控的任务上,比如倒水、开关门、插拔充电枪这几个特定场景。还要提一下,这种方式非常依赖好的奖励函数设计,奖励给得不好,机器人就会“钻空子”,比如用看似完成了任务、实际上完全不符合人类预期的方式拿到高分。

3. 为什么数据还是不够用

聊完数据来源,下面要回答的问题就是:为什么数据还是不够?这个问题分几个层次来看。

3.1 长尾效应和“corner case”才是真正的无底洞

很多人觉得,数据不够多,那就再多采一些呗。但真正做过项目的人会告诉你,难的不是“数据多”,而是“数据覆盖的任务足够广、环境足够杂”。

真实世界的场景是典型的“长尾分布”:机器人90%的时间遇到的都是常见情况,比如抓杯子、放盘子;但真正决定系统能不能稳定商用的是那10%的罕见情况:杯子是半透明的、盘子是黑色的(深度图容易失效)、光照特别暗、物体被部分遮挡、桌面材质反光、物体摆放特别紧凑……这些corner case才是拉开数据差距的地方。

我见过有团队做一个超市货架商品抓取项目,日常商品抓取成功率已经到90%以上了,但放到真正试运营时,总是被几类商品搞崩:透明塑料瓶、铝箔包装的薯片袋、黑色半球形的咖啡杯盖。这些都是典型的感知难点,深度相机在这些物体上容易“打滑”或者“漏检”,而训练数据里这类物体又少,导致模型没办法学会处理。后来他们专门去买了市面上能买到的各种瓶子、袋子,重新补采了几百条数据,才有明显改善。

长尾问题意味着,数据的需求量不是线性的,而是随着任务复杂度指数上升的。你今天觉得“5000条数据够了”,明天新增一个任务场景,又得重新补。这也是为什么工业界常说,“通用机器人的尽头是数据私有化”的原因——每家公司的场景是不同的,别人家的数据拿到你这里,可能根本没用。

3.2 从“封闭世界”到“开放世界”的鸿沟

现在的具身智能系统,大多数还在“封闭世界”里打转:固定的机械臂、固定的工位、固定的物品清单、固定的光照环境。在这种条件下,可能几百条数据就能训出一个不错的策略。

但用户真正想要的是“开放世界”:机器人能在非结构化环境里(比如家庭、餐厅、野外)随机遇到各种物品、各种障碍、各种光线。这就对数据多样性提出了极大的要求。

打个比方,封闭世界的数据需求量是“记住100道题的标准答案”,而开放世界的数据需求量是“掌握解决无限数学题的思维方法”。前者用题海战术就能搞定,后者需要的就不是“更多的题”,而是“更加合理的知识结构”。

这中间就差着一个巨大的鸿沟:目前的VLA模型虽然能泛化一些,但远没到“见多识广即通晓一切”的地步。它们更像是“见过很多陷阱、知道避开”的应试选手,而不是真正理解物理规律的学徒。

3.3 数据利用率太低:一个任务一个模型,换场景就废

还有一个被大家忽视的问题——即使数据采回来了,利用率也非常低。

传统机器人做感知任务,可以用一个预训练好的视觉模型,然后针对新任务做少量样本微调。但在具身智能的操作策略里,情况要复杂得多:一个策略模型往往只在训练时见过的物体类别和任务类型上有效。你把训练时用的红色杯子换成绿色杯子,可能性能就明显下降;把工作台从实验室搬到车间,成功率继续缩水;换个型号的机械臂,又得从头开始。

这背后的原因是,操作策略把“感知”和“控制”耦合在了一起。模型不只是“看见”物体,还要“根据自己本体的运动学特性”去生成动作。换了本体,模型的输出空间就变了,之前的经验自然就作废了。

所以现在大家也在研究怎么把感知、控制、规划解耦,让视觉模块、运动模块、策略模块可以分开训练、分开复用。但目前的整体水平还比较初级,大多数团队在实际项目中,仍然逃不脱“一个项目一套数据、一个场景一个模型”的宿命。

3.4 数据采集成本和“机器人时间”的乘法效应

再算一笔账,会更直观地理解“数据不够用”不只是一个算法问题,更是一个经济问题。

假设一台机械臂加配套传感器的成本是10万元,一个熟练操作员月薪1万元,每天能采300条有效数据。如果想采10万条数据(勉强覆盖10个任务、每个任务1万条),光人力成本就要33个人月,也就是330万的人力成本,加上设备折旧,综合成本接近400万。这还只是单一工位、单一研究者场景的数据,换个办公室可能又要重采。

再来看自动驾驶行业的数据对比。特斯拉的自动驾驶路测数据,一辆车一天能产生几小时的驾驶数据,自动标注后直接进训练集,边际成本极低。但具身智能数据不一样,采集过程需要一个“人肉老师”全程陪跑,机器人自己没有能力自主产生高质量数据。这就是数据的“乘法效应”:时间、设备、人力、场景四个因子一起制约,数据规模远不如互联网数据那样能指数增长。

所以,每当有人问“为什么数据仍然不够用”,我的回答是:不光是我们还没有彻底解决“数据的数量”问题,更关键的是“数据的生产机制”还没找到一个边际成本足够低的方式。只要采集数据的成本降不下来,数据的规模就永远受限。

4. 实操层面的“数据工程”经验和避坑指南

说了这么多行业层面的问题,下面落到实操上。如果你现在正要组建自己的具身智能项目团队,或者正在纠结怎么开始做数据采集,这里是我踩过一些坑之后总结的经验。

4.1 想开始做自己的数据,先别急着买机器人

很多人一开始就冲动消费,买一台六轴机械臂、配一个深度相机、搭个采集工作站,花了几万块,结果数据采了没两周就发现很多问题。

我的建议是:先确定“任务边界”再决定用什么设备。如果你的目标是做桌面抓取,那机械臂加夹爪就够了;如果要做移动操作,可能需要移动底盘和机械臂的组合;如果要做精细操作(比如装配、穿线),那你需要的是高精度的力控机械臂和遥操作主手,这玩意儿一台就是大几十万。

还有一种更便宜的思路:先买一个成熟的操作杆手柄,再租一台机器人来做数据采集验证。很多高校和科研设备平台可以按小时租用机械臂(比如UR、AUBO、Franka这些品牌),一小时几十到几百块不等。先用租来的设备验证你的数据采集流程和模型训练流程跑得通,再考虑自己购置设备,能避免很多前期资源浪费。

4.2 遥操作采集方案:从“能用”到“好用”的细节

说到具体的数据采集细节,这是最容易出问题的地方,也是“看着简单、做起来全是坑”的环节。

遥操作看似只是简单的手动挡和自动挡,但实际使用中要注意这几点:

采集频率要稳定。别一会儿60Hz一会儿30Hz,时序错乱的数据会让后处理非常难。建议用一个统一的数据记录器,所有传感器数据都打上统一的时间戳。

多传感器要硬同步。RGB图像、深度图、关节角度、力矩数据如果不是硬同步的,会产生毫秒级的偏差。对慢速任务可能还好,一涉及快速动作,比如快速抓取、抛接,毫秒级偏差就会导致动作抖振甚至失败。

示范过程要“去抖”。操作员自然的手臂会有一些下意识抖动,这些抖动会被传感器记录进数据。如果模型学到了这些抖动,实机运行时动作就会特别僵。解决方式是采集后做平滑处理,但千万要注意:不能把关键的动作转折点平滑掉,否则动作会失真。

最后也是最重要的一点:标注要跟上。采回来的数据不是直接就能用的,你需要标注任务阶段(“开始”、“接近物体”、“抓取”、“抬升”、“放置”),甚至要标出关键帧。这个工作体力消耗极大,但直接影响后续训练质量。我在项目里通常安排一个专门的标注小组,和采集并行,不然等采集完了再集中标注,会拖垮整个项目节奏。

这里顺便提一句,很多团队在做“YOLOv8训练自己的数据集”这类视觉任务时,都有清洗异常样本的习惯。做具身智能数据也一样,清洗步骤不能省。我见过团队直接拿采集的原始数据去训练,结果模型学会了“操作员的手一旦出现在画面里,机械臂就要执行动作”这种诡异的关联,因为训练数据里大量样本是操作员在旁边调整状态时录进去的“脏数据”。

4.3 仿真数据的关键不是“多”,而是“perturbation(扰动)”

如果你想在仿真里跑数据,我的经验是:一开始别追求环境太漂亮,重点放在“扰动设计”上。

所谓扰动,就是让仿真里的条件尽可能多变,包括:物体位置随机、姿态随机、光照随机、纹理随机、相机视角随机、干扰物体随机、材质物理参数随机。每一步都随机,才能让模型学会泛化,而不是“背下”仿真里的固定环境。

做仿真数据最常见的坑是“仿真环境太干净”,物体永远摆在同一位置,背景永远不变。这种数据采集量再大,训练出来的模型一到真实世界就废。正确做法是,一开始就把domain randomization(域随机化)做足,让物体位置在允许范围内尽量乱,光照尽量多变。记住一句话:仿真数据的价值不是让你去拟合“仿真里的真实”,而是让你获得一个“见过足够多干扰”的特征提取器。

另外,仿真数据通常和真实数据要配合使用。我常用的策略是:先在仿真里预训练一个策略,用合成数据把模型的基本能力“托起来”,然后用少量的真实数据做微调。这种“仿真预训练+真机微调”的路线,在实际项目中可以显著减少真实数据的需求量,成本下降得很明显。

4.4 数据格式和存储,常常被忽略的“隐形杀手”

数据采完了,怎么存、怎么组织,也别大意。这里踩过坑的人应该深有体会。

我见过好几个团队,采集数据时没有统一格式,今天存一个ROS bag,明天存一个自定义的npz,后天干脆存成一堆图片加一个Excel表格。到后面要训练的时候,代码都要针对不同格式写不同的数据加载器,活生生把自己折腾成“数据处理公司”。

建议一开始就定好统一的数据格式协议,用HDF5或者类似的结构化格式,把图像、点云、关节状态、动作指令、时间戳、任务描述都组织好。哪怕前期稍微多花点时间写转换工具,后面训练时会省出数倍时间。

另外,存储和可视化也很重要。数据量一旦大起来,管理就成了问题。我建议做两个配套工具:一个是数据浏览器,可以快速回放某段数据的可视化效果,检查有没有丢帧、时序对不对;另一个是数据统计工具,能看每个任务类型的数据量、动作分布、物体类别频率,方便你判断哪些场景数据不足、需要补充。

这些工具看着不起眼,但它们才是数据工程的核心。具身智能项目的壁垒往往不在算法模型,而在“有没有一套健全的数据生产和质量管理体系”。

5. 数据之后:接下来会往哪些方向走

数据问题的短期解法是“多采多存”,但长期来看,行业肯定在找更聪明的办法。这里说几个我看到的方向,也聊聊它们各自的挑战。

5.1 数据数量上不去,那就打“数据效率”的主意

有些团队已经开始尝试用数据增强和预训练来降低对数据数量的要求。比如从一个大规模的人类视频数据集中学到视觉特征,再迁移到机器人操作任务上。还有一些工作在做“动作通道增强”,把一条示教数据通过空间对称变换(比如左右翻转)、视角变换、速度变换生成出多条数据。这些都是缓解数据不足的实用手段。

但数据增强的前提是“原始数据的质量足够好”。如果采集的时候动作就是错的、时序就是乱的,增强再多也是把错误放大,起不到积极作用。

5.2 VLA模型和统一Token:数据智能化的方向

目前很多大模型团队在研究“机器人基础模型”路线,也就是把视觉、语言、动作统一到一个大模型里,用类似GPT的方式做“下一个动作的预测”。这个路线的希望在于:一旦模型有了足够大的参数量和足够好的预训练,它对数据的需求可能会从“每个任务都要重新学”变成“只需要少量示范就能泛化”。

Google的RT-2、DeepMind的AutoRT、Physical Intelligence的π0、国内一些厂商的VLA模型,都是这个方向的具体尝试。它们的共同逻辑是:先在大规模多任务数据上做一个通用的“具身预训练”,再用少量真机数据做适配。如果这条路走通,数据需求的增长曲线可能会从“指数级”变成“线性级”,数据不够用的问题会缓解不少。

但挑战也很大:现在的VLA模型推理速度还不够快,一个动作决策往往需要几百毫秒甚至几秒,这在需要实时响应的操作任务里是致命的。还有“分布外泛化”的问题,模型在训练数据分布内稳如老狗,一遇到分布外的物体或环境就可能懵。所以在“更快的推理”和“更强的泛化”这两个问题上,还需要持续投入。

5.3 数据采集的终极形态:由机器人自己生产数据

长期来看,具身智能的数据采集最终的解法应该是“机器人自监督”。也就是让机器人自己执行任务、自己判断成败、自己产生新的训练样本,整个过程不需要人肉介入。

这和自动驾驶行业走到高阶L3/L4后的数据策略很像:大规模车队跑在路上,自动收集corner case,自动上传,自动标注,训练新模型再OTA给车队。具身智能的终局也应该是这样:大量机器人在真实环境里作业,遇到失败案例就自动标记、自动上传,云端形成难例池,持续迭代模型。

这个设想听上去很诱人,但距离落地还隔着不少问题:机器人怎么判断自己“失败了”?摔倒、抓空、误碰撞到底是因为策略不对还是执行器故障?怎么保证机器人自己探索时不会损坏自己或周围物品?这些都是当前具身智能研究的前沿课题,也是把机器人大规模商业化部署前必须跨过的一道坎。

根据我个人的实操经验,现阶段做具身智能项目,最忌讳的就是“重模型轻数据”。很多团队花了几十万买设备、搭环境,结果把大部分精力都放在调试模型上,数据采集只派个实习生随便弄。等到后面模型怎么调都不收敛,才回过头来重新补数据,结果就是项目周期一拖再拖。

我再分享一个小技巧:做数据采集之前,先想清楚“你要让机器人学会的任务边界到底在哪里”。比如你做的是“抓取红色积木块”,那就先把红色积木块的各种变体(大小、材质、光照、背景、角度)提前列出来,把传感器和本体状态的定义写清楚,再开始采集。宁可前期多花一两天设计这个“数据需求文档”,也不要等采了两万条数据之后才发现自己漏了关键场景。

这个内容后续还可以往“VLA模型的部署优化”“多机器人并行数据采集”这些方向继续扩展,不过那就是另外一篇长文的体量了。希望在数据采集这条路上,你可以走得比我顺利。

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐