2026 年 VLA 训练数据管线从零搭建:五步完成具身智能视频数据工程化
以仓储 Pick-and-Place 场景为例,从场景分类体系、数据接入、Schema 校验、去重,到 PyTorch Dataset。全文代码可直接运行,附完整仓库。
配套代码仓库:
github.com/lzhcoder/yt-dlp
核心结论
-
VLA(Vision-Language-Action,视觉-语言-动作模型)数据工程的真正难点不是"下载视频",而是持续产出「场景正确 + 时间边界正确 + Schema 统一」的训练可消费数据。
-
用
yt-dlp脚本能跑通 demo,跑不通生产。生产级管线的三个硬要求是:持续性、场景精准性、合规性。缺任何一个,规模一上来就崩。 -
网络视频不是遥操作的替代品,是互补数据源:它提供视觉与物理先验,遥操作提供机器人本体的动作标签。把两者当成竞品选型,是这一年我见过最贵的错误。
-
决定成本的不是"抓了多少条",而是 usable yield(原始数据到训练可用数据的留存率)。本文给出的开源实现在一个注入了真实缺陷的测试集上跑出 118 → 74 条,留存率 62.7%,其中近似重复占被拒绝样本的 36%。
-
数据源选型可参考 Bright Data 的 VLA Video Feed 产品页(下文统一简称 Bright Data VLA),其公开的 per-clip metadata 字段(
scenario_type/camera_pov/actions[]/start_ms/end_ms)可以直接作为你内部 Schema 的设计起点。 -
如果你的账号里只有爬虫市场(Web Scraper API)的通用社媒爬虫,没有开通 Bright Data VLA,这条路依然走得通,但中间少了三层要自己补:场景发现、相关性判定、片段切分。本文给出完整实现,并且把「哪些标签是推断出来的」显式标注在数据里。
配套代码仓库:github.com/lzhcoder/yt-dlp,仓库结构与运行方式见文末「快速上手清单」。本文所有代码均在 Python 3.12 + ffmpeg 环境下实际执行通过,产出率数字来自真实运行输出,不是示意。文中涉及的场景级过滤、预裁剪片段与结构化 metadata 能力,对应的是 Bright Data 的 VLA Video Data 产品(下文统一简称 Bright Data VLA);本文明确区分「官方公开的产品能力」与「我本地跑出来的管线结果」,两者不混为一谈。

为什么你的 VLA 数据管线可能从一开始就设计错了
一个能跑通 demo 的脚本,和一条能上生产的管线
生产级 VLA 视频数据管线不是下载脚本,而是一条负责场景筛选、数据验证、去重、版本化和持续交付的 web data pipeline。绝大多数团队的第一版数据管线长这样:
YouTube URL 列表 → yt-dlp 批量下载 → 本地目录 → 训练脚本 glob 目录
这个流程在 50 条数据的时候完美工作。问题出现在数据量往上走之后,而且是同时出现的:
-
HTTP 429 限速。下到第几百条开始大面积失败,重试逻辑写得越激进,被封得越快。
-
数据不连贯。这次抓到 800 条,下次抓到 640 条,中间断的是哪些、为什么断,没人说得清。
-
找到视频 ≠ 找到有效动作。一个 20 分钟的仓储作业视频里,真正包含完整 reach-grasp-lift-place 的片段可能只有 8 秒。你下载了 1.2GB,训练时用得上的不到 1%。
-
没有统一 metadata。三个数据源三套字段命名,训练时的时序对齐全靠脚本里的 if-else 硬编码。
-
目录就是数据集。有人手滑删了几个文件,模型指标掉了,查不出来。
更深层的问题是定位错了:视频数据管线不是一次性工程,而是需要持续供给的基础设施。一次性工程的产物是"一批数据",基础设施的产物是"一个可复现、可版本化、可持续更新的数据集"。
2026 年生产级 VLA 数据管线的三个核心要求
-
持续性:新数据能自动进入管线,且每次进入都留下版本记录。
dataset_v3训练出的model_v3必须能被复现。 -
场景精准性:在下载之前就完成过滤,而不是下载之后再筛。前者的成本是筛选查询,后者的成本是带宽 + 存储 + 人工。
-
合规性:数据用于驱动物理世界的行动,责任链比推荐系统长得多。数据来源、采集方式、存储位置都必须可审计。
下面五步,就是把上面那个 4 行的流程图,重写成一条满足这三个要求的管线。完整实现已开源,
pip install numpy + 一个 ffmpeg 就能跑。
1. Define:定义你的场景分类体系(Scenario Taxonomy)
先定义要什么数据,再去取数据
这是全文最反直觉、也最省钱的一条建议:在抓第一条数据之前,先把分类表写完。
原因很简单,分类体系同时是三样东西:
-
数据源侧的过滤参数
-
下游校验的白名单
-
团队内部对"什么叫一条合格数据"的共识文档
如果没有它,你会先抓一堆视频,再来讨论"这条算不算 pick-and-place",然后发现三个人有三个标准。
分类维度
以仓储抓取-放置为例:
| 维度 | 字段名 | 示例取值 |
| 任务族 | task_family | manipulation / locomotion / interaction / driving |
| 动作序列 | actions[] | reach / grasp / lift / place |
| 环境类型 | env_context | industrial_warehouse / residential_kitchen / highway |
| 摄像头视角 | camera_pov | third_person / wrist_mounted / overhead / egocentric |
| 光照条件 | lighting | normal / low_light / backlit / night |
| 质量门槛 | 多字段 | 时长 3–45s、短边 ≥480p、帧率 ≥20fps |
代码:让分类体系可执行
关键设计是构造即校验:拼错一个动作名,在第 0 秒就报错,而不是在 10 万条数据之后:
@dataclass(frozen=True)
class ScenarioSpec:
scenario_type: str # 全局唯一 slug,下游一切以它为准
task_family: str
environments: tuple[str, ...]
actions: tuple[str, ...] # 期望出现的动作序列(语义层)
camera_povs: tuple[str, ...]
lighting: tuple[str, ...] = ("normal",)
# 质量门槛:低于这些值的片段直接丢弃,不进入训练集
min_duration_ms: int = 3_000
max_duration_ms: int = 60_000
min_height: int = 480
min_fps: float = 20.0
target_clips: int = 500
def __post_init__(self) -> None:
if self.task_family not in TASK_FAMILIES:
raise ValueError(f"未知 task_family: {self.task_family}")
for a in self.actions:
if a not in ACTION_VOCAB:
raise ValueError(f"动作 {a!r} 不在受控词表内,请先扩充 ACTION_VOCAB")
for p in self.camera_povs:
if p not in CAMERA_POVS:
raise ValueError(f"未知 camera_pov: {p}")
def to_filter_params(self) -> dict:
"""转成数据源侧的过滤条件。换供应商时只改这一个函数。"""
return {
"scenario_type": self.scenario_type,
"env_context": list(self.environments),
"camera_pov": list(self.camera_povs),
"action_type": list(self.actions),
"lighting": list(self.lighting),
"min_duration_ms": self.min_duration_ms,
"max_duration_ms": self.max_duration_ms,
"min_resolution_height": self.min_height,
"limit": self.target_clips,
}
WAREHOUSE_PICK_PLACE = ScenarioSpec(
scenario_type="warehouse_pick_and_place",
task_family="manipulation",
environments=("industrial_warehouse",),
actions=("reach", "grasp", "lift", "place"),
camera_povs=("third_person", "wrist_mounted"),
lighting=("normal", "low_light"),
min_duration_ms=3_000,
max_duration_ms=45_000,
target_clips=500,
)
to_filter_params() 的返回值就是下一步直接提交给数据源的查询体。受控词表只有一份定义,过滤和校验共用,从结构上杜绝了"过滤条件和校验规则不一致"这类最难查的 bug。
2. Discover:数据来源选型与 Bright Data 接入
通用爬取 vs 场景精准抓取
两者的本质区别在于过滤发生在带宽之前还是之后。
通用爬取是「先下载再判断」,场景精准抓取是「先判断再下载」。当目标是 50 条时没区别;当目标是 50 万条时,前者的存储和清洗成本会吃掉整个数据预算。
Bright Data 的 VLA Video Data 产品(Bright Data VLA)把视频数据获取拆成 Define、Search、Extract 三步:先定义目标场景,再按环境、光照、机位和动作类型筛选候选内容,最后提取预裁剪 MP4 和结构化 metadata。官方页面还提供持续 feed、云端交付和 99.99% uptime SLA 等生产能力。
[第一步:Define 定义]
└─ 指定目标场景族(如"仓储拣货")
└─ 设置环境类型、光照条件、摄像头视角
└─ 映射至 90PB 网络存档的过滤条件
[第二步:Search 搜索]
└─ 按场景、光照、地理位置、摄像头角度过滤
└─ 按时长、上传日期、视频质量筛选
└─ 下载前预览片段,验证样本质量
[第三步:Extract 提取]
└─ 采集基础设施负责处理 blocks、CAPTCHA 和 anti-bot flows
└─ 输出预裁剪 MP4 + 结构化元数据
└─ 自动交付至 S3 / GCS / Azure Blob / Webhook
官方页面给出的场景检索示例可以直观说明"场景级过滤"的粒度:Warehouse pick+place 31,892 条、Kitchen manipulation 47,328 条、Highway driving rain 23,891 条、Parking lot maneuver 18,441 条、Object collision 14,203 条。
代码:异步 snapshot 模式与退避
Bright Data 的数据获取是异步 snapshot 模式:提交任务拿到 snapshot_id,轮询状态,就绪后下载。
class BrightDataClient:
def __init__(self, api_key=None, base_url=API_BASE, timeout=60,
max_429_backoff=120.0):
self.api_key = api_key or os.environ.get("BRIGHTDATA_API_KEY", "")
if not self.api_key:
raise RuntimeError("缺少 BRIGHTDATA_API_KEY")
# ... 初始化 requests.Session,带 Authorization: Bearer 头
def trigger(self, dataset_id, payload, *, fmt="json", extra_params=None):
"""Define + Search:提交场景过滤条件,拿回 snapshot_id。"""
params = {"dataset_id": dataset_id, "format": fmt}
if extra_params: # discover_new 的 type/discover_by 走这里
params.update(extra_params)
data = self._request("POST", "/datasets/v3/trigger", params=params, json=payload)
sid = data["snapshot_id"] if isinstance(data, dict) else str(data)
return TriggerResult(snapshot_id=sid, triggered_at=time.time())
def wait_ready(self, snapshot_id, *, poll_interval=10.0, max_wait=3600.0):
"""轮询直到 ready。必须有 max_wait,否则脚本会挂一晚上。"""
t0 = time.time()
while True:
state = self._request("GET", f"/datasets/v3/progress/{snapshot_id}")
status = (state or {}).get("status", "unknown")
print(f" 轮询 {snapshot_id}: status={status}, 已等 {time.time()-t0:.0f}s",
flush=True)
if status == "ready":
return time.time() - t0
if status in ("failed", "error", "canceled"):
raise SnapshotFailed(f"snapshot {snapshot_id} 状态 {status}")
if time.time() - t0 > max_wait:
raise SnapshotTimeout(f"snapshot {snapshot_id} 超过 {max_wait}s 仍未就绪")
time.sleep(poll_interval)
def download(self, snapshot_id, *, fmt="json"):
"""Extract:拉回结构化 metadata。结果有保留期,别拖太久。"""
data = self._request("GET", f"/datasets/v3/snapshot/{snapshot_id}",
params={"format": fmt})
if isinstance(data, list):
return data
if isinstance(data, str): # ndjson
return [json.loads(line) for line in data.splitlines() if line.strip()]
return [data] if data else []
这里有个必须自己写对的细节。官方文档明确写明:同一 IP 在 5 分钟内累计 25 个 429 响应会被自动加入黑名单,此后该 IP 的所有 API 请求都会被拦截。文档同时给了并发上限和预警线:单次请求携带 20 个以内输入时,最多 1,500 并发;超过 20 个输入时降到 100 并发;5 分钟内看到 10 个 429 就应该立刻降速,别等触到 25 这条线。
所以 429 不能无脑重试,4xx 不能只抛个 HTTPError 就完事——响应体里才是真正的排错线索:
if resp.status_code == 429:
# 尊重 Retry-After,并加随机抖动,避免集群内多个 worker 同步重试
retry_after = float(resp.headers.get("Retry-After", delay))
sleep_s = min(retry_after, self.max_429_backoff) + random.uniform(0, 1.5)
time.sleep(sleep_s)
delay *= 2
continue
# 4xx(除 429)不重试:把响应体带出来,方便线上定位
if 400 <= resp.status_code < 500:
raise RuntimeError(f"{method} {path} 返回 {resp.status_code}: {resp.text[:800]}")
注意这个 429 是调用 API 时的配额限速,和 yt-dlp 直连视频站点被目标网站限速是两回事。blocks、CAPTCHA 和 anti-bot flows 的绕过由 Bright Data 的采集基础设施负责处理,具体实现依赖底层产品(如 Web Unlocker)和数据产品配置,不要把这些能力简单归因成「VLA API 自己就是浏览器指纹系统」。
访问条件(必须提前知道)
-
具体访问权限和账户要求取决于产品及接入方式;涉及部分 proxy / Unlocker 能力时可能需要完成 KYC 审核。Bright Data VLA 的开通范围应在落地前与对方确认,不要默认所有使用者统一要求 KYC。
-
Bright Data VLA 属于面向 Physical AI 的独立数据产品,与自助式的 Datasets Marketplace、Scraper API 不是同一条产品线。能不能自助拿到 pre-cut clip +
actions[]标注,取决于你的账户权限,落地前先跟对方确认用例和开通范围,别把方案设计建立在假设上。 -
异步结果具有有限保留期,生产管线不应把 snapshot 当作永久存储。建议 snapshot ready 后立即下载,或直接配置 S3、GCS、Azure Blob 等云端交付。具体输入文件大小和 snapshot 保留限制以当前 API 文档和账户配置为准。
如果你手上只有爬虫市场的通用爬虫
上面那条链路有个前提:供应商已经给好了场景标签和预裁剪片段。但很多人打开控制台看到的是另一幅景象,一个按站点划分、覆盖数百个网站的爬虫市场(Web Scraper API),里面是 linkedin、instagram、tiktok、facebook、x 这些通用爬虫。
这是两条不同的产品线,能力差别必须先摆清楚:
| 对比项 | Bright Data VLA | 爬虫市场(Web Scraper API) |
| 开通方式 | 与团队确认用例后开通 | 控制台自助选用 |
| 检索维度 | 场景、光照、机位、动作类型 | 关键词、话题标签、URL、地区 |
| 是否返回 scenario_type / camera_pov / actions[] | 有 | 没有 |
| 片段边界 | 预裁剪,带精确 start_ms / end_ms | 没有,返回整条视频 |
| 输出字段 | 统一的 VLA schema | 平台原生字段(title / description / hashtags / video_length / video_url) |
自助这条路不是做不了 VLA 数据,是中间少了三层,得自己补上:场景发现、相关性判定、片段切分。
第一层:场景发现。 通用爬虫默认要你给 URL,而你手上只有场景,没有 URL。解法是 discovery 模式。这里有个容易踩的坑:type / discover_by / limit_per_input 是 query string 参数,只有检索词本身才进 JSON body。把它们塞进 body 会被 BrightData 当成非法字段直接 400:
def discover(self, dataset_id, queries, discover_by="keyword", limit_per_input=20, **wait_kw):
# type / discover_by / limit_per_input 走 query string,不进 body
extra_params = {"type": "discover_new", "discover_by": discover_by}
if limit_per_input:
extra_params["limit_per_input"] = limit_per_input
# body 每条只放检索词,字段名 = discover_by(keyword / search_keyword)
payload = [{discover_by: q} for q in queries]
return self.collect(dataset_id, payload, extra_params=extra_params, **wait_kw)
检索词从 taxonomy 生成,不手写。dataset_id 随账号权限变化,运行时用 GET /datasets/list 拿回当前账号可用爬虫再按名字匹配。官方 /datasets/list 返回的就是当前账号可用的 dataset,不要把可能属于另一个账号/产品版本的旧 ID 当成可靠 fallback——开发者复制代码后最容易得到的是 401/404/invalid dataset,而不是成功运行。正确的解析顺序是:GET /datasets/list → 精确校验名匹配 → 环境变量覆盖 → 仍不存在就明确报错,让开发者去开通权限,而不是静默用一个失效 ID 撞 API:
# 精确词组优先,避免被 "youtube video urls" / "yt videos" 等同名爬虫带偏
_KEYWORDS = {"youtube": ["videos posts", "video posts", "videos & posts"],
"tiktok": ["tiktok - posts", "tiktok posts"]}
class DatasetNotAvailable(RuntimeError):
"""账号里没有匹配的爬虫,应去控制台开通,而不是静默回退到失效 ID。"""
def match_dataset_id(datasets, platform):
p = platform.lower()
# 1) 精确词组匹配("videos posts" 而非任意含 youtube 的条目)
for ds in datasets:
name = str(ds.get("name", "")).lower()
if any(kw in name for kw in _KEYWORDS.get(p, [])):
return str(ds.get("id", ds.get("dataset_id", "")))
# 2) 平台名 + posts 兜底
for ds in datasets:
name = str(ds.get("name", "")).lower()
if p in name and "post" in name:
return str(ds.get("id", ds.get("dataset_id", "")))
# 3) 环境变量覆盖(BRIGHTDATA_YT_DATASET_ID / BRIGHTDATA_TT_DATASET_ID)
env_key = f"BRIGHTDATA_{p[:2].upper()}_DATASET_ID"
if os.environ.get(env_key):
return os.environ[env_key]
# 4) 都没有 → 明确报错,不要用写死的旧 ID 静默撞 API
raise DatasetNotAvailable(
f"账号里未找到 {platform} 对应爬虫,请先在控制台开通,"
f"或用环境变量 {env_key} 指定一个当前账号可用的 dataset_id。"
)
注意这里不再保留写死的默认 DEFAULT_DATASET_IDS:文章自己已经说 dataset_id 随账号权限变化,那就不该紧接着把具体 dataset ID 当成可靠 fallback。离线 mock 场景应显式注入环境变量或 mock /datasets/list 的返回,而不是依赖一个会随产品版本失效的常量。
各平台的输入字段还不统一:YouTube 用 keyword,TikTok 用 search_keyword,输出侧 YouTube 叫 video_length,TikTok 叫 video_duration。所以字段解析全部走候选键表,接新平台只加候选名,下游代码不动。
第二层:相关性判定。 这一层决定了这条链路的成败,也是最该被质疑的一层。做法是关键词证据打分:环境词、主体词、动作词各自计分,强负向词直接扣分。
score = min(len(env_hits), 3) * 2.0 # 在正确的地方
score += min(len(subject_hits), 3) * 1.5 # 确实是操作演示
score += len(matched_actions) * 1.5 # 动作对得上
score -= len(negative_hits) * 3.0 # 游戏、仿真、AI 生成、开箱、访谈
负向词表比正向词表更重要。检索「warehouse robot pick place」,回来的结果里有大量游戏实况、Isaac Sim 教程、Sora 生成片段和公司宣传片,不挡掉的话产出率会被它们吃掉一大半。
判定顺序刻意按成本排:时长和画质是纯 metadata 比较,最便宜,先做;关键词打分次之;下载和 ffprobe 最贵,放最后。过滤发生在带宽之前,这句话在这条链路上是靠代码顺序落实的,不是靠供应商。
第三层:片段切分。 平台返回整条视频,场景定义要的是片段,中间差一次切分。这里做的是固定窗口切分:按 max_duration_ms 均匀切,短于 min_duration_ms 的尾巴丢掉,单条源视频最多切 3 个窗口(否则一个来源会主导整个数据集的分布)。
切分必须重编码,不能用 -c copy。copy 模式只能在关键帧上切,实际边界会漂到几秒之外,而漂移量不会写进 metadata。那正是这条管线在校验层专门要抓的错误,自己就别制造了。
跑一遍这条链路,用真实 BrightData API 对 YouTube 做 discovery(--platforms youtube --no-download),发现阶段的漏斗长这样(dataset_id 为当时账号实际匹配到的爬虫 ID,会随账号权限变化):
POST /datasets/v3/trigger dataset_id=gd_lk56epmy2i5g7lzu0k
params={'type': 'discover_new', 'discover_by': 'keyword', 'limit_per_input': 20}
body=[{'keyword': 'warehouse robot reach grasp'}]
-> snapshot_id=sd_mt0r3vd91n2qn8kzk5
轮询 ... status=running, 已等 239s
-> status=ready, 下载 40 条记录
发现漏斗:
discovery 返回 40
弱标注候选 67 拒绝 14: no_env 8, low_score 6
URL 级去重后 67 重复 41
最终产出 26
40 条原始记录经过弱标注(关键词打分 + 固定窗口切分)膨胀到 67 条候选 clip,再被 URL 级去重砍掉 41 条重复(同一个视频被两个检索词召回),最终 26 条。这组数字来自真实 API 运行,不是合成数据。 拒绝原因里 url_duplicate 占大头,说明两个检索词的召回重叠度很高,实际放量时应该用更多差异化的检索词来摊薄重复率。
三条必须写进文档的边界:
-
actions[]和camera_pov是从文本推断的,不是标注。这一层没解码过任何一帧画面,只读了标题、描述、标签和字幕。所以每条记录都带label_source="inferred_from_text"和置信分,让下游自己决定信到什么程度。注意这与 Bright Data VLA Video Feed 返回的结构化actions[](label_source="vendor_structured_metadata")是两种不同来源,字段同名但不可互换。 -
片段边界是固定窗口,不是动作边界(
clip_boundary="fixed_window")。一个窗口里可能只有半个抓取动作,也可能包含两次完整循环。这对表征预训练可以接受,对需要精确时序对齐的任务不能接受。 -
打分阈值必须自己实测。换场景、换语种、换平台,分布都会变。先用
--no-download只看拒绝原因分布,调好了再放量下载。
一句话总结这条链路的定位:它能把「不知道该下哪些 URL」变成「有一批带证据链的候选」,这是自建爬虫最难补的一块。至于标签精度,它到不了预裁剪片段那个水平,也不该假装到得了。
3. Normalize:数据 Schema 设计与预处理规范
供应商原生 metadata
Bright Data VLA 页面公开的 per-clip metadata 结构:
{
"scenario_type": "warehouse_pick_and_place",
"env_context": "industrial_warehouse_high_shelf",
"camera_pov": "wrist_mounted",
"actions": ["reach", "grasp", "lift", "place"],
"label_source": "vendor_structured_metadata",
"start_ms": 5200,
"end_ms": 19800,
"fps": 30,
"geo_region": "DE"
}
注意这里的 actions[] 是 Bright Data VLA Video Feed 返回的结构化供应商标注,字段 label_source 标记为 "vendor_structured_metadata"。它和本文通用爬虫 fallback 自己推断出来的 actions[] 是两种不同来源——后者 label_source 标记为 "inferred_from_text"(见「2. Discover」第三层),只读了标题、描述、标签、字幕,没解码过任何一帧画面。两者字段同名但来源不同,下游训练侧必须按 label_source 区分信到什么程度,不要混为一谈。
这个结构可以直接用,但不能直接信。
Schema 之上还有三个预处理标准化要点必须落实,否则多来源数据进训练管线时必然报错:
-
时序对齐(Temporal Alignment):
start_ms/end_ms是相对源视频的毫秒时间戳,下载预裁剪片段后必须用 ffprobe 实测时长回填(见下文校验层),因为编码取整会导致实际边界漂移几十毫秒。下游训练侧的时间窗口一律以实测值为准,不用 metadata 声称的值。 -
坐标归一化:如果标注平台返回了末端执行器位姿或关节角度,归一化到
[-1, 1]或[-1, 1]^7(7-DoF 机械臂)区间,与 policy 网络的输出空间对齐。不同机器人本体的工作空间不同,归一化参数要按机型存在 manifest header 里。 -
动作分割:语义动作
["reach", "grasp", "lift", "place"]是离散标签,policy 训练需要的是连续动作轨迹。补标时把每个语义动作映射到一段连续的关节状态序列,分割点用start_ms/end_ms对齐,而不是重新人工切分。
如果需要完整的动作轨迹标签(关节状态、末端位姿、力矩等机器人本体量),建议与具身智能标注平台(如 Kuizhuo、整数智能等)配合做补标。本文管线产出带 scenario_type / actions[] / 时间窗的 manifest.jsonl,可直接作为标注平台的导入接口——先用本管线做场景发现和片段预裁剪,再在预裁剪片段上做动作轨迹补标,两者分工不重叠。具体的标注平台对接方式见文末 FAQ。
校验层:不要相信 metadata,要跟文件核对
最常见、也最难查的一类问题是:metadata 写着 fps: 30、时长 14.6 秒,下载回来的文件实际是 24fps、11.2 秒。如果不做交叉核对,训练时的时序对齐就是错的,而且症状会以"模型收敛慢"的形式出现,几乎不可能定位到数据层。
所以校验必须分成两层:Schema 层(metadata 自身是否合法)和探测层(文件里实际是什么)。
def check_against_metadata(rec, info, spec, duration_tolerance=0.15) -> list[str]:
"""交叉核对 metadata 与 ffprobe 实测值。返回问题列表,空列表代表通过。"""
problems = []
if not info.ok:
return [f"probe_failed:{info.error}"]
if info.height < spec.min_height:
problems.append(f"resolution_too_low:{info.width}x{info.height}")
if info.fps < spec.min_fps:
problems.append(f"real_fps_too_low:{info.fps:.2f}")
if info.nb_frames <= 1:
problems.append("not_a_video")
declared = rec.declared_duration_ms
if declared > 0 and info.duration_ms > 0:
drift = abs(info.duration_ms - declared) / declared
if drift > duration_tolerance: # 允许 15% 编码取整/关键帧对齐误差
problems.append(f"duration_mismatch:declared={declared},real={info.duration_ms}")
if rec.fps > 0 and info.fps > 0 and abs(rec.fps - info.fps) / rec.fps > 0.05:
problems.append(f"fps_mismatch:declared={rec.fps},real={info.fps:.2f}")
return problems
两个工程原则:
-
校验失败不抛异常。一批 500 条里挂 30 条是常态,让整条管线崩掉是灾难。返回结构化的失败原因列表。
-
失败原因本身就是数据质量报告。把
reject_reasons计数存下来,你就有了一张免费的供应商质量看板。
探测通过后,所有下游一律使用实测值,不再使用 metadata 声称的值。
去重层:网络视频最大的问题是重复
互联网数据的头号问题不是量少,是重复。同一段素材会以不同分辨率、不同片头、不同压制参数出现在多个来源,URL 不同、文件 MD5 也不同,但内容一模一样。按哈希去重完全挡不住。
正确做法是感知哈希(pHash)+ 时序采样:
def clip_signature(path, duration_ms, n_frames=5) -> np.ndarray:
"""片段签名 = 均匀抽 n 帧,每帧一个 64bit pHash。"""
frames = extract_gray_frames(path, duration_ms, n_frames) # ffmpeg 直出 32x32 灰度裸数据
hashes = [phash_frame(f) for f in frames]
while len(hashes) < n_frames:
hashes.append(hashes[-1])
return np.array(hashes[:n_frames], dtype=np.uint64)
def phash_frame(gray: np.ndarray) -> np.uint64:
"""DCT 后取左上 8x8(去掉 DC 分量),与中位数比较得到 64bit。"""
coeffs = _DCT @ gray @ _DCT.T
block = coeffs[:8, :8].flatten()
med = np.median(block[1:]) # 排除 DC,它只反映整体亮度
bits = (block > med).astype(np.uint64)
out = np.uint64(0)
for b in bits:
out = np.uint64(out << np.uint64(1)) | np.uint64(b)
return out
这段实现只依赖 ffmpeg 二进制和 numpy,不需要 OpenCV 或 imagehash。汉明距离矩阵用 uint8 视图 + 查表做 popcount 向量化,再用并查集聚类,每簇保留分辨率最高的一条。
阈值必须实测确定。在我的测试集上,跨分辨率转码的近似重复对落在平均汉明距离 0.8–1.2,完全重复是 0.0,而不同片段之间是 26–34(64 位随机哈希的期望值是 32)。区分度非常大,阈值取 8.0 有充足余量。但这个数字与你的内容类型强相关,静态镜头多的场景会整体偏低,必须自己跑一遍再定。
实测:跑完整条管线的产出率漏斗
把上面各层串起来跑一遍。为了让每一类缺陷都被覆盖,我写了一个 fixture 生成器,按真实比例注入了 9 类缺陷:近似重复、完全重复、时长与 metadata 不符、帧率过低、分辨率过低、动作标签残缺、场景标错、字段缺失、文件损坏与文件缺失。
实际运行输出:
阶段 数量 留存率
-----------------------------
① 供应商返回 118 100.0%
② Schema 通过 101 85.6%
③ 文件存在 99 83.9%
④ 探测通过 90 76.3%
⑤ 去重后 74 62.7%
⑥ 训练可用 74 62.7%
-----------------------------
raw → usable yield 62.7%
拒绝原因分布:
near_duplicate 16
incomplete_actions 7
duration_mismatch 6
fps_too_low 4
real_duration_too_short 4
scenario_mismatch 3
missing_field 3
probe_failed 3
file_missing 2
重要说明:这个 62.7% 是针对合成缺陷数据集的管线逻辑验证结果,不是任何供应商的真实质量评测。 它证明的是这条管线能正确识别并拒绝各类脏数据,以及各层拦截量的相对分布。你要评估真实数据源,就用同一套代码换成真实 dataset_id 再跑一次,report.json 的漏斗字段就是为这个设计的。
真实链路实测:discovery → pipeline
上一节的 62.7% 是合成数据。真实链路长什么样?用真实 BrightData API 对 YouTube 跑 discovery,再把候选喂给 pipeline,两段漏斗拼起来看:
第一段:discovery(run_discovery.py --platforms youtube --no-download)
POST /datasets/v3/trigger
dataset_id=gd_lk56epmy2i5g7lzu0k
params={'type': 'discover_new', 'discover_by': 'keyword', 'limit_per_input': 20}
body=[{'keyword': 'warehouse robot reach grasp'}]
-> snapshot_id=sd_mt0r3vd91n2qn8kzk5
轮询 ... status=running, 已等 239s
-> status=ready
发现漏斗:
discovery 返回 40
弱标注候选 67 拒绝 14: no_env 8, low_score 6
URL 级去重后 67 重复 41
最终产出 26
40 条原始记录经弱标注(关键词打分 + 固定窗口切分)膨胀到 67 条候选 clip,再被 URL 级去重砍掉 41 条重复,最终 26 条写入 harvest/vendor_response.json。
第二段:pipeline(run_pipeline.py --fixtures harvest --relaxed-actions)
① 读取本地 harvest/vendor_response.json(26 条,跳过 API 取数)
② Schema 通过 25 条 拒绝 1: scenario_mismatch
②.5 下载完成 0 条 失败 25: download_failed
③ 文件存在 0 条 | ④ 探测通过 0 条
raw → usable yield 0.0%
这里暴露了一个真实链路必须跨过去的坎:discovery 返回的 25 条候选通过了 Schema 校验,但 yt-dlp 下载这 25 条 YouTube 视频全部失败。失败原因不是代码 bug,而是 YouTube 对 yt-dlp 的反爬:部分视频需要登录、有地区限制、或 yt-dlp 版本跟不上 YouTube 的前端变更导致签名解析失败。
这就是为什么管线把下载层设计成独立可重试的步骤(②.5),而不是和 discovery 绑死。下载失败不会阻断后续逻辑演示——用本地 fixture 能验证探测/去重/manifest 全链路(上一节 62.7% 的漏斗)。真实放量时,下载失败率是 report.json 里需要持续监控的指标,失败比例高时应该排查 yt-dlp 版本或切换下载策略。
有了这个漏斗,成本计算才有意义:
单条有效成本 = 本批总花费 ÷ 训练可用条数
而不是 总花费 ÷ 抓取条数。在 62.7% 的留存率下,这两个数字差 1.6 倍。拿后者去和遥操作、和自建爬虫比较,比出来的结论是错的。

一个必须说清楚的技术边界
actions: ["reach", "grasp", "lift", "place"] 是语义动作标注(semantic action annotation),不是 VLA policy 训练所需的动作标签。
真正的机器人动作标签通常是这样的量:
Δx, Δy, Δz, Δroll, Δpitch, Δyaw, gripper_state joint_position[7], joint_velocity[7] # 7-DoF(Degrees of Freedom,自由度)机械臂
网络视频天然缺失的是:机器人本体感知(proprioception)、关节状态、力矩/速度、末端执行器位姿、reward / success 信号。没有 sim-to-real 的视觉域差距,不等于没有 embodiment gap(本体差异)。
所以网络视频的正确定位是:
-
✅ 适合:视觉与物理先验、表征预训练(representation pretraining)、世界模型、长尾场景挖掘、动作语义理解
-
❌ 不适合:直接当作完整的 VLA action trajectory 用于 policy 精调
这不是缺陷,是分工。诚实标注这条边界,比把它模糊掉更有利于你的技术决策。
4. Validate & Deduplicate:一次性快照 vs 持续供给
选择标准只有一条:你的训练是否需要数据持续更新。需要持续更新选持续供给(Continuous Feed),不需要选一次性快照(Snapshot)。判断树非常简单:
你的训练是否需要数据持续更新?
├── 是 → 持续供给(Continuous Feed)
└── 否 → 一次性快照(Snapshot)
你的训练规模是否超过 10TB?
├── 是 → 考虑企业级定制方案
└── 否 → 标准 API 方案即可
一次性快照适合 POC 验证、benchmark 构建、论文复现:目标明确、数据集冻结、成本最低。
持续供给适合生产级训练:新内容发布后自动进入管线。但它带来一个新问题,也是很多团队第一次做持续供给时踩的坑,数据集版本化:
2026-08-01 ┐
2026-08-02 ├→ Raw Zone → 校验 → 去重 → dataset_v3 → model_v3
2026-08-03 ┘
必须保证 model_v3 能被 dataset_v3 复现。做法是:manifest 带版本号和内容统计,clip_id 用「源 URL + 时间窗」哈希生成而不是 uuid4,这样同一片段无论抓多少次都得到同一个 ID,跨批次去重和断点续传才成立。
def make_clip_id(raw: dict) -> str:
"""稳定 ID:同一源视频的同一时间窗,抓多少次都是同一个 clip_id。"""
key = "|".join([
str(raw.get("source_url") or raw.get("video_uri") or ""),
str(raw.get("start_ms", "")), str(raw.get("end_ms", "")),
])
return "clip_" + hashlib.sha1(key.encode("utf-8")).hexdigest()[:16]
manifest 的第一行是数据集 header,实际输出长这样:
{
"_type": "manifest_header",
"dataset_name": "warehouse_pick_and_place_web",
"version": "v20260816",
"schema_version": "yt-dlp-clip/1.2",
"n_samples": 74,
"scenario_distribution": {"warehouse_pick_and_place": 74},
"pov_distribution": {"third_person": 33, "wrist_mounted": 41},
"geo_distribution": {"DE": 22, "US": 11, "JP": 11, "GB": 11, "CN": 10, "FR": 9},
"total_duration_s": 892.5
}
训练脚本永远只读 manifest,不要 glob 目录。 目录会变,manifest 有版本号。
5. Version & Deliver:合规与安全架构
具身智能的数据合规比普通 AI 场景更关键,因为数据最终会驱动物理世界的行动,责任链比推荐系统长得多。当追溯发生时,"这段训练数据是哪来的、怎么来的"必须能回答。
数据来源 → 采集合法性 → 数据处理 → 数据存储 → 模型训练 → 物理世界部署
推荐系统推错了内容是体验问题;机器人在物理世界执行错误动作是安全问题。当追溯发生时,"这段训练数据是哪来的、怎么来的"必须能回答。
这也是为什么 ClipRecord 里要保留 provenance 字段(vendor / snapshot_id / fetched_at),出问题时能定位到具体批次。
数据源侧需要确认的合规资质:
-
SOC 2 Type II 认证
-
ISO 27001 认证
-
CSA STAR 认证
-
完全符合 GDPR 与 CCPA
-
涉及部分 proxy / Unlocker 能力时可能需要完成 KYC 审核(具体取决于产品与接入方式)
-
2024 年在美国联邦法院赢得对 Meta 和 X 的诉讼,为合法采集公开网页数据确立了法律先例
-
数据可直接交付至用户私有云(S3 / GCS / Azure Blob),原始视频与 metadata 不经第三方存储
最后一条对企业团队尤其重要:训练数据落在自己的 bucket 里,而不是先经过供应商的中间存储,这是很多公司内部数据安全政策的硬性要求。
何时选择网络视频,何时选择遥操作?
网络视频不是遥操作的替代品,是互补数据源:它提供视觉与物理先验,遥操作提供机器人本体的动作标签。三类数据源的完整对比:
| 评估维度 | 遥操作(Teleoperation) | 仿真(Isaac Sim / MuJoCo) | 网络规模视频 |
| 每条数据成本 | 高(设备 + 人力) | 极低(边际成本近零) | 低 |
| 可扩展性 | 受限于操作员数量 | 高,但受场景设计限制 | 高,受限于内容存在性 |
| 物理真实性 | ✅ 最高 | ⚠️ 存在物理近似失真 | ✅ 真实物理 |
| 动作标签 | ✅ 原生机器人动作向量 | ✅ 原生 | ⚠️ 仅语义标注,需补标 |
| 场景多样性 | ❌ 受限于演示者 | ⚠️ 受限于场景设计 | ✅ 覆盖 195 国 |
| 边缘案例 | ❌ 难以规模化 | ❌ 需人工设计 | ✅ 自然存在 |
| Sim-to-Real 风险 | 无 | 高 | 无(但存在 embodiment gap) |
| 交付速度 | 慢(受人力限制) | 快 | 快(API 交付) |
| 合规性 | ✅ | ✅ | ✅ SOC 2 / GDPR / CCPA |
决策建议:
-
训练通用 VLA 基础模型 → 网络视频预训练 + 遥操作精调
-
快速验证 POC、预算有限 → 仿真 + 少量网络视频
-
人形机器人全身动作 → 遥操作(全身动捕)为主,网络视频补充场景多样性
-
自动驾驶边缘案例覆盖 → 网络视频(真实世界自然包含的长尾场景)
-
世界模型物理先验 → 网络视频(真实材质、真实光照、真实碰撞)
对应的三阶段流水线:
┌───────────────┐
Web Video ──→│ 预训练 │ 视觉/物理先验、世界理解
│ Pre-training │
└───────┬───────┘
│
Simulation ──────────┤ 任务变体低成本扩增
▼
VLA foundation
│
Teleoperation ─→ 精调 Fine-tuning 在目标硬件上达成高精度执行
│
▼
Robot
几个可以帮你校准判断的公开数字:AgiBot World Beta 完整数据集为 1,003,672 条轨迹(约 43.8TB)、覆盖 217 个任务,是目前最大的开放遥操作数据集之一;DROID 包含 76,000 条轨迹、350 小时交互数据,由 13 家机构历时 12 个月共同采集;Open X-Embodiment(OXE,跨具身开放数据集)聚合后超过 240 万条轨迹。而 IFR《World Robotics 2025》统计的全球工业机器人运行存量约为 466 万台(2024 年)。硬件部署规模比开放数据规模高出至少一个数量级,这就是数据瓶颈的量化表达。
常见错误与规避方案
下表列出了 VLA 数据管线中最常见的错误做法及其后果,并给出正确方向。
| 错误做法 | 实际后果 | 正确方向 |
| 把 yt-dlp 当生产基础设施 | 重试、封禁、监控、数据治理全部要自己写 | 用生产级数据供给服务,把工程量花在数据质量上 |
| 抓整个视频不做时间定位 | 大量无效帧,存储和清洗成本失控 | scene / clip 级提取,只要有效片段 |
| 没有 Scenario Taxonomy | 后期无法控制数据分布,也无法解释模型泛化边界 | 抓数据之前先定义分类表 |
| 没有统一 Schema | 多来源数据无法对齐,训练管线报错 | 归一化到内部统一 schema,供应商字段只在接入层出现 |
| 只看数据量 | 重复和垃圾数据可能占三成以上 | 看 usable yield 和单条有效成本 |
| 相信 metadata 不核对文件 | 时序对齐错误,症状表现为"模型收敛慢" | ffprobe 交叉核对,下游只用实测值 |
| 训练脚本直接 glob 目录 | 数据集不可复现,指标波动查不出原因 | manifest + 版本号 + 稳定 clip_id |
| 只有真实视频 | 缺少机器人本体动作标签 | 与遥操作数据结合 |
| 只有仿真数据 | Sim-to-Real Gap 导致部署性能衰减 | 用真实网络视频补分布缺口 |
| 把通用爬虫的返回当成带场景标签的数据 | 训练出问题时才发现 actions[] 是自己猜的,无法归因 | 标签来源写进 provenance,推断标签与标注标签分开管理 |
| 未做合规审查 | 数据用于物理世界行动,责任链风险高 | 确认 SOC 2 / GDPR / CCPA 覆盖,按需完成 KYC |
yt-dlp vs Bright Data Media API
必须先说清楚定位:yt-dlp 是一个 downloader,Bright Data 是 data infrastructure。这不是同一类东西的好坏比较,而是"要不要自己造这层基础设施"的选择。yt-dlp 本身是极其优秀的开源工具,把它用在生产管线的入口层才是问题。
| 对比维度 | yt-dlp(开源工具) | Bright Data Media API |
| HTTP 429 处理 | ❌ 直接失败,需自建重试 | ✅ 400M+ 活跃 IP 轮换自动重试 |
| CAPTCHA / 反爬 | ❌ 需手动干预 | ✅ 采集基础设施自动处理(具体依赖底层产品配置) |
| 可扩展性 | 单机瓶颈 | ✅ PB 级持续交付 |
| 场景级过滤 | ❌ 无 | ✅ 场景、光照、地理、摄像角度多维过滤 |
| 结构化元数据 | ❌ 无标准 Schema | ✅ 标准化 Schema(场景/动作/时间戳) |
| 预裁剪片段 | ❌ 需自行定位与切割 | ✅ pre-cut MP4 + 精确 start/end |
| 持续供给 | ❌ 手动重复执行 | ✅ 自动化 Continuous Feed |
| 云端交付 | ❌ 本地下载为主 | ✅ S3 / GCS / Azure Blob / Snowflake / Webhook |
| 合规框架 | ❌ 无内置 | ✅ SOC 2 Type II / ISO 27001 / GDPR / CCPA |
| 可用性保障 | ❌ 无 SLA | ✅ 99.99% Uptime SLA |
| 技术支持 | 社区 | 7×24 专家支持 |
什么时候 yt-dlp 就够了:你有明确的 URL 列表、总量在几千条以内、一次性任务、不需要场景检索、能接受人工处理失败样本。这种情况下引入平台方案是过度工程。
什么时候必须换:需要场景发现(不知道 URL,只知道要什么场景)、需要持续供给、总量到十万条以上、有合规审计要求。这四条命中任何一条,自建的边际成本就开始超过采购。
其余可参考的平台侧公开数据:已提取视频 10B+(100 亿条以上)、网络历史存档 90PB、覆盖 195 个国家、400M+ 月活 IP 地址用于解封、全球 75% 顶尖 AI 实验室与 20,000+ 企业在使用。每日交付量产品页首屏标注为 10PB+,同一页面的基础设施章节另标注 2PB+,引用时建议注明取自哪一处。
快速上手清单
代码仓库:
github.com/lzhcoder/yt-dlpgit clone https://github.com/lzhcoder/yt-dlp.git
环境准备
sudo apt-get install -y ffmpeg # macOS: brew install ffmpeg
pip install numpy requests # torch 可选,只有训练侧需要
离线跑通(不需要 API Key,不联网)
python make_fixtures.py --out ./fixtures --n 120
python run_pipeline.py --fixtures ./fixtures --out ./dataset --cost 48.0
产出 dataset/manifest.jsonl(训练侧唯一入口)和 dataset/report.json(漏斗与拒绝原因)。
接真实数据源(已有场景级数据产品)
export BRIGHTDATA_API_KEY=xxxxx
python run_pipeline.py --dataset-id gd_xxxxxxxx --out ./dataset
注意:设了 BRIGHTDATA_API_KEY 后,run_pipeline.py 进入真实模式。此时若 --fixtures 指向的目录里有 vendor_response.json,会直接读本地文件、不调 API(专供 discovery 产出的候选消费);只有显式传了 --dataset-id 才会真正触发 BrightData 取数。两者都没给会报错提示,不会拿 "mock" 这个字符串去撞 API。
接真实数据源(只有爬虫市场的通用爬虫)
export BRIGHTDATA_API_KEY=xxxxx
# dataset_id 随账号权限变化,代码不再内置写死的默认 ID。
# 先跑 --list-datasets 看当前账号有哪些爬虫,匹配不到会明确报错,
# 提示你去开通或用环境变量覆盖:
# export BRIGHTDATA_YT_DATASET_ID=gd_your_youtube_dataset
# export BRIGHTDATA_TT_DATASET_ID=gd_your_tiktok_dataset
python run_discovery.py --list-datasets
# 第一次一定这么跑:只做发现和筛选,不花下载带宽
# --platforms 默认 youtube,tiktok;只跑 youtube 可省成 --platforms youtube
python run_discovery.py --platforms youtube,tiktok --no-download --out ./harvest
# 看完 harvest/discovery_report.json 的拒绝分布,调好 --min-score 再放量
python run_discovery.py \
--scenario warehouse_pick_and_place \
--platforms youtube,tiktok \
--per-query 20 --max-clips 60 \
--out ./harvest
# 产出与 fixture 同构,下游一行不改
python run_pipeline.py --fixtures ./harvest --out ./dataset --relaxed-actions
接真实 API 之前先跑自检
python make_fixtures.py --out ./fixtures --n 40 python selftest.py
用假 HTTP 层和本地视频替代网络,其余全部跑真实代码:dataset_id 解析、 discovery 触发、429 退避、snapshot 轮询、字段归一化、场景筛选、切分、 Schema 校验、ffprobe 探测、pHash 去重、manifest 打包。线上调试的时间成本 比本地高一个数量级,能在本地发现的问题不要留到线上。
消费
from vla_pipeline.manifest import VLAClipDataset
ds = VLAClipDataset("dataset/manifest.jsonl")
print(len(ds)) # 74
print(ds[0])
# {'video_uri': 'fixtures/clips/clip_0048.mp4',
# 'clip_id': 'clip_e9e2ace24ee30974',
# 'scenario': 'warehouse_pick_and_place',
# 'actions': ['reach', 'grasp', 'lift', 'place'],
# 'start_ms': 4044, 'end_ms': 14634, 'fps': 30.0,
# 'camera_pov': 'third_person'}
VLAClipDataset 继承 torch.utils.data.Dataset,但 torch 缺失时会自动退化为普通可索引对象,这样数据机器上不装 torch 也能验证 manifest。视频解码刻意没有内置,真实训练里应交给 decord / torchcodec / DALI。
检查清单
-
完成场景分类体系(Scenario Taxonomy)设计,受控词表已提交版本控制
-
确定数据来源组合策略(预训练 / 任务扩增 / 精调分别用哪一类)
-
完成数据源账户注册与访问条件确认(按需完成 KYC),确认自己拿到的是哪条产品线(场景级数据产品,还是自助爬虫市场)
-
如果走爬虫市场:确认场景发现、相关性判定、片段切分这三层由谁来补
-
明确每条样本的标签来源(供应商标注 / 文本推断 / 人工),并写进 manifest
-
用小样本(100–500 条)验证场景过滤效果,先算 usable yield 再决定放量
-
确认 metadata Schema 与训练框架兼容,并实现 ffprobe 交叉核对
-
实测确定去重阈值,不要直接抄默认值
-
设置云端交付目的地(S3 / GCS / Azure Blob)
-
确认合规覆盖(SOC 2 / GDPR / CCPA / 内部数据安全政策)
-
决定一次性快照 or 持续供给,并落实数据集版本化方案
-
用「单条有效成本」而非「单条抓取成本」做预算与横向比较
FAQ
Q1:网络爬取视频用于 AI 训练,在法律上是否合规?
关键在于数据来源和采集方式,而不是"是否使用了网络数据"这件事本身。合规的做法是只采集公开可访问数据、遵守数据保护法规、保留完整的数据来源记录。Bright Data 持有 SOC 2 Type II 与 ISO 27001 认证,符合 GDPR 与 CCPA;2024 年其在美国联邦法院赢得对 Meta 和 X 的诉讼,为合法采集公开网页数据确立了法律先例。但请注意:平台合规不等于你的用途合规。训练数据的最终用途、模型的部署方式、涉及的个人信息处理,仍需你自己的法务评估。
Q2:没有动作标签的视频,能用来训练 VLA 模型吗?
能,但要用在正确的阶段。网络视频提供的 actions[] 是语义动作标注,缺少关节状态、末端位姿、力矩等机器人本体信息。它适合大规模预训练阶段,用来建立视觉感知、物理直觉和动作语义理解;不适合直接用于 policy 精调。主流做法是三段式:网络视频预训练 → 仿真扩增任务变体 → 遥操作数据在目标硬件上精调。如果确实需要动作轨迹,可以配合具身智能标注平台做补标,但这部分成本要算进预算。
Q3:Bright Data 一次性快照和 continuous feed 怎么选?
看你的训练是不是一次性的。POC 验证、benchmark 构建、论文复现选一次性快照,成本最低,数据集天然冻结、易于复现。生产级训练、模型需要长期迭代、需要覆盖新出现的场景,选持续供给。选持续供给的前提是你已经把数据集版本化做好了,否则新数据不断进来,模型指标变化将无法归因。
Q4:只有通用 Web Scraper API 能不能做 VLA 数据?
能,但要清楚自己在补什么。通用社媒爬虫返回的是平台原生字段,没有 scenario_type、camera_pov、actions[],也不做片段级预裁剪。所以你要自己加三层:用 taxonomy 生成检索词走 discovery 模式做场景发现;用关键词证据打分在下载之前做相关性判定;把整条视频切成符合时长约束的窗口。本文「2. Discover」一节给了完整实现。代价是标签精度:这条链路的 actions[] 是从标题、描述、标签、字幕推断出来的,没有解码过任何一帧画面,适合表征预训练,不适合需要精确时序对齐的任务。把 label_source 和 clip_boundary 如实写进数据里,比假装它们等价于标注要有用得多。
Q5:yt-dlp 和 Bright Data 有什么区别?
yt-dlp 是 downloader,Bright Data 是 data infrastructure,这不是同一类东西的好坏比较,而是"要不要自己造这层基础设施"的选择。你有明确的 URL 列表、总量在几千条以内、一次性任务、不需要场景检索时,yt-dlp 就够了;需要场景发现、持续供给、总量到十万条以上、或有合规审计要求时,自建的边际成本就开始超过采购。完整对比见文末「yt-dlp vs Bright Data Media API」一节。
Q6:如何把视频数据和机器人 action labels 对齐?
本文管线产出的 manifest.jsonl 每条记录都带 scenario_type / actions[] / start_ms / end_ms / camera_pov / source_url,这是与标注平台对接的天然接口。流程是:先用本管线做场景发现 + 相关性筛选 + 片段预裁剪,把候选片段的 video_uri 指向本地预裁剪 MP4;再把 manifest.jsonl 导入标注平台(如 Kuizhuo、整数智能等),在预裁剪片段上做动作轨迹补标——补的是 VLA policy 训练所需的关节状态、末端位姿、力矩等机器人本体量,而不是重新标注语义动作。
关键设计原则:标注平台补的是本体动作标签,本管线提供的是场景/时序/视觉上下文,两者分工不重叠。导出时把标注平台的补标结果按 clip_id 回写进 manifest 的 action_trajectory 字段,label_source 从 inferred_from_text 升级为 human_annotated,这样训练侧能区分哪些片段有精确动作轨迹、哪些只有语义标注。如果标注平台不支持 clip_id 关联,用 source_url + start_ms + end_ms 作为复合主键也能对齐。
参考来源
-
Bright Data, VLA Video Data 产品页:产品能力、metadata 字段、场景检索示例、平台数据与合规资质:面向 VLA 流水线的视频信息流
-
Bright Data Docs:Web Scraper API 异步 snapshot 接口、
type=discover_new发现模式参数、GET /datasets/list爬虫清单:https://docs.brightdata.com -
Bright Data Docs, Error codes by Endpoint:429 处理、25 次/5 分钟 IP 黑名单阈值与并发上限
-
AgiBot World Colosseo(arXiv:2503.06669)及官方仓库:1,003,672 条轨迹、217 个任务
-
DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset (RSS 2024):76k 轨迹、350 小时、564 场景、13 家机构
-
Open X-Embodiment:跨具身聚合数据集,240 万+ 轨迹
-
IFR, World Robotics 2025:2024 年全球工业机器人运行存量约 466 万台,年度安装量 542,076 台
本文所有代码均为实际运行验证,产出率数据来自合成缺陷数据集的真实运行输出,用于验证管线逻辑,不构成对任何数据供应商的质量评测。
更多推荐
所有评论(0)