以仓储 Pick-and-Place 场景为例,从场景分类体系、数据接入、Schema 校验、去重,到 PyTorch Dataset。全文代码可直接运行,附完整仓库。

配套代码仓库: github.com/lzhcoder/yt-dlp


核心结论

  • VLA(Vision-Language-Action,视觉-语言-动作模型)数据工程的真正难点不是"下载视频",而是持续产出「场景正确 + 时间边界正确 + Schema 统一」的训练可消费数据。

  • 用 yt-dlp 脚本能跑通 demo,跑不通生产。生产级管线的三个硬要求是:持续性、场景精准性、合规性。缺任何一个,规模一上来就崩。

  • 网络视频不是遥操作的替代品,是互补数据源:它提供视觉与物理先验,遥操作提供机器人本体的动作标签。把两者当成竞品选型,是这一年我见过最贵的错误。

  • 决定成本的不是"抓了多少条",而是 usable yield(原始数据到训练可用数据的留存率)。本文给出的开源实现在一个注入了真实缺陷的测试集上跑出 118 → 74 条,留存率 62.7%,其中近似重复占被拒绝样本的 36%。

  • 数据源选型可参考 Bright Data 的 VLA Video Feed 产品页(下文统一简称 Bright Data VLA),其公开的 per-clip metadata 字段(scenario_type / camera_pov / actions[] / start_ms / end_ms)可以直接作为你内部 Schema 的设计起点。

  • 如果你的账号里只有爬虫市场(Web Scraper API)的通用社媒爬虫,没有开通 Bright Data VLA,这条路依然走得通,但中间少了三层要自己补:场景发现、相关性判定、片段切分。本文给出完整实现,并且把「哪些标签是推断出来的」显式标注在数据里。

配套代码仓库:github.com/lzhcoder/yt-dlp,仓库结构与运行方式见文末「快速上手清单」。本文所有代码均在 Python 3.12 + ffmpeg 环境下实际执行通过,产出率数字来自真实运行输出,不是示意。文中涉及的场景级过滤、预裁剪片段与结构化 metadata 能力,对应的是 Bright Data 的 VLA Video Data 产品(下文统一简称 Bright Data VLA);本文明确区分「官方公开的产品能力」与「我本地跑出来的管线结果」,两者不混为一谈。

为什么你的 VLA 数据管线可能从一开始就设计错了

一个能跑通 demo 的脚本,和一条能上生产的管线

生产级 VLA 视频数据管线不是下载脚本,而是一条负责场景筛选、数据验证、去重、版本化和持续交付的 web data pipeline。绝大多数团队的第一版数据管线长这样:

YouTube URL 列表 → yt-dlp 批量下载 → 本地目录 → 训练脚本 glob 目录

这个流程在 50 条数据的时候完美工作。问题出现在数据量往上走之后,而且是同时出现的:

  1. HTTP 429 限速。下到第几百条开始大面积失败,重试逻辑写得越激进,被封得越快。

  2. 数据不连贯。这次抓到 800 条,下次抓到 640 条,中间断的是哪些、为什么断,没人说得清。

  3. 找到视频 ≠ 找到有效动作。一个 20 分钟的仓储作业视频里,真正包含完整 reach-grasp-lift-place 的片段可能只有 8 秒。你下载了 1.2GB,训练时用得上的不到 1%。

  4. 没有统一 metadata。三个数据源三套字段命名,训练时的时序对齐全靠脚本里的 if-else 硬编码。

  5. 目录就是数据集。有人手滑删了几个文件,模型指标掉了,查不出来。

更深层的问题是定位错了:视频数据管线不是一次性工程,而是需要持续供给的基础设施。一次性工程的产物是"一批数据",基础设施的产物是"一个可复现、可版本化、可持续更新的数据集"。

2026 年生产级 VLA 数据管线的三个核心要求

  • 持续性:新数据能自动进入管线,且每次进入都留下版本记录。dataset_v3 训练出的 model_v3 必须能被复现。

  • 场景精准性:在下载之前就完成过滤,而不是下载之后再筛。前者的成本是筛选查询,后者的成本是带宽 + 存储 + 人工。

  • 合规性:数据用于驱动物理世界的行动,责任链比推荐系统长得多。数据来源、采集方式、存储位置都必须可审计。

下面五步,就是把上面那个 4 行的流程图,重写成一条满足这三个要求的管线。完整实现已开源,

pip install numpy + 一个 ffmpeg 就能跑。

1. Define:定义你的场景分类体系(Scenario Taxonomy)

先定义要什么数据,再去取数据

这是全文最反直觉、也最省钱的一条建议:在抓第一条数据之前,先把分类表写完。

原因很简单,分类体系同时是三样东西:

  1. 数据源侧的过滤参数

  2. 下游校验的白名单

  3. 团队内部对"什么叫一条合格数据"的共识文档

如果没有它,你会先抓一堆视频,再来讨论"这条算不算 pick-and-place",然后发现三个人有三个标准。

分类维度

以仓储抓取-放置为例:

维度字段名示例取值
任务族task_familymanipulation / locomotion / interaction / driving
动作序列actions[]reach / grasp / lift / place
环境类型env_contextindustrial_warehouse / residential_kitchen / highway
摄像头视角camera_povthird_person / wrist_mounted / overhead / egocentric
光照条件lightingnormal / low_light / backlit / night
质量门槛多字段时长 3–45s、短边 ≥480p、帧率 ≥20fps

代码:让分类体系可执行

关键设计是构造即校验:拼错一个动作名,在第 0 秒就报错,而不是在 10 万条数据之后:

@dataclass(frozen=True)
class ScenarioSpec:
    scenario_type: str                  # 全局唯一 slug,下游一切以它为准
    task_family: str
    environments: tuple[str, ...]
    actions: tuple[str, ...]            # 期望出现的动作序列(语义层)
    camera_povs: tuple[str, ...]
    lighting: tuple[str, ...] = ("normal",)

    # 质量门槛:低于这些值的片段直接丢弃,不进入训练集
    min_duration_ms: int = 3_000
    max_duration_ms: int = 60_000
    min_height: int = 480
    min_fps: float = 20.0
    target_clips: int = 500

    def __post_init__(self) -> None:
        if self.task_family not in TASK_FAMILIES:
            raise ValueError(f"未知 task_family: {self.task_family}")
        for a in self.actions:
            if a not in ACTION_VOCAB:
                raise ValueError(f"动作 {a!r} 不在受控词表内,请先扩充 ACTION_VOCAB")
        for p in self.camera_povs:
            if p not in CAMERA_POVS:
                raise ValueError(f"未知 camera_pov: {p}")

    def to_filter_params(self) -> dict:
        """转成数据源侧的过滤条件。换供应商时只改这一个函数。"""
        return {
            "scenario_type": self.scenario_type,
            "env_context": list(self.environments),
            "camera_pov": list(self.camera_povs),
            "action_type": list(self.actions),
            "lighting": list(self.lighting),
            "min_duration_ms": self.min_duration_ms,
            "max_duration_ms": self.max_duration_ms,
            "min_resolution_height": self.min_height,
            "limit": self.target_clips,
        }


WAREHOUSE_PICK_PLACE = ScenarioSpec(
    scenario_type="warehouse_pick_and_place",
    task_family="manipulation",
    environments=("industrial_warehouse",),
    actions=("reach", "grasp", "lift", "place"),
    camera_povs=("third_person", "wrist_mounted"),
    lighting=("normal", "low_light"),
    min_duration_ms=3_000,
    max_duration_ms=45_000,
    target_clips=500,
)

to_filter_params() 的返回值就是下一步直接提交给数据源的查询体。受控词表只有一份定义,过滤和校验共用,从结构上杜绝了"过滤条件和校验规则不一致"这类最难查的 bug。


2. Discover:数据来源选型与 Bright Data 接入

通用爬取 vs 场景精准抓取

两者的本质区别在于过滤发生在带宽之前还是之后。

通用爬取是「先下载再判断」,场景精准抓取是「先判断再下载」。当目标是 50 条时没区别;当目标是 50 万条时,前者的存储和清洗成本会吃掉整个数据预算。

Bright Data 的 VLA Video Data 产品(Bright Data VLA)把视频数据获取拆成 Define、Search、Extract 三步:先定义目标场景,再按环境、光照、机位和动作类型筛选候选内容,最后提取预裁剪 MP4 和结构化 metadata。官方页面还提供持续 feed、云端交付和 99.99% uptime SLA 等生产能力。

[第一步:Define 定义]
 └─ 指定目标场景族(如"仓储拣货")
 └─ 设置环境类型、光照条件、摄像头视角
 └─ 映射至 90PB 网络存档的过滤条件

[第二步:Search 搜索]
 └─ 按场景、光照、地理位置、摄像头角度过滤
 └─ 按时长、上传日期、视频质量筛选
 └─ 下载前预览片段,验证样本质量

[第三步:Extract 提取]
 └─ 采集基础设施负责处理 blocks、CAPTCHA 和 anti-bot flows
 └─ 输出预裁剪 MP4 + 结构化元数据
 └─ 自动交付至 S3 / GCS / Azure Blob / Webhook

官方页面给出的场景检索示例可以直观说明"场景级过滤"的粒度:Warehouse pick+place 31,892 条、Kitchen manipulation 47,328 条、Highway driving rain 23,891 条、Parking lot maneuver 18,441 条、Object collision 14,203 条。

代码:异步 snapshot 模式与退避

Bright Data 的数据获取是异步 snapshot 模式:提交任务拿到 snapshot_id,轮询状态,就绪后下载。

class BrightDataClient:
    def __init__(self, api_key=None, base_url=API_BASE, timeout=60,
                 max_429_backoff=120.0):
        self.api_key = api_key or os.environ.get("BRIGHTDATA_API_KEY", "")
        if not self.api_key:
            raise RuntimeError("缺少 BRIGHTDATA_API_KEY")
        # ... 初始化 requests.Session,带 Authorization: Bearer 头

    def trigger(self, dataset_id, payload, *, fmt="json", extra_params=None):
        """Define + Search:提交场景过滤条件,拿回 snapshot_id。"""
        params = {"dataset_id": dataset_id, "format": fmt}
        if extra_params:                      # discover_new 的 type/discover_by 走这里
            params.update(extra_params)
        data = self._request("POST", "/datasets/v3/trigger", params=params, json=payload)
        sid = data["snapshot_id"] if isinstance(data, dict) else str(data)
        return TriggerResult(snapshot_id=sid, triggered_at=time.time())

    def wait_ready(self, snapshot_id, *, poll_interval=10.0, max_wait=3600.0):
        """轮询直到 ready。必须有 max_wait,否则脚本会挂一晚上。"""
        t0 = time.time()
        while True:
            state = self._request("GET", f"/datasets/v3/progress/{snapshot_id}")
            status = (state or {}).get("status", "unknown")
            print(f"    轮询 {snapshot_id}: status={status}, 已等 {time.time()-t0:.0f}s",
                  flush=True)
            if status == "ready":
                return time.time() - t0
            if status in ("failed", "error", "canceled"):
                raise SnapshotFailed(f"snapshot {snapshot_id} 状态 {status}")
            if time.time() - t0 > max_wait:
                raise SnapshotTimeout(f"snapshot {snapshot_id} 超过 {max_wait}s 仍未就绪")
            time.sleep(poll_interval)

    def download(self, snapshot_id, *, fmt="json"):
        """Extract:拉回结构化 metadata。结果有保留期,别拖太久。"""
        data = self._request("GET", f"/datasets/v3/snapshot/{snapshot_id}",
                             params={"format": fmt})
        if isinstance(data, list):
            return data
        if isinstance(data, str):             # ndjson
            return [json.loads(line) for line in data.splitlines() if line.strip()]
        return [data] if data else []

这里有个必须自己写对的细节。官方文档明确写明:同一 IP 在 5 分钟内累计 25 个 429 响应会被自动加入黑名单,此后该 IP 的所有 API 请求都会被拦截。文档同时给了并发上限和预警线:单次请求携带 20 个以内输入时,最多 1,500 并发;超过 20 个输入时降到 100 并发;5 分钟内看到 10 个 429 就应该立刻降速,别等触到 25 这条线。

所以 429 不能无脑重试,4xx 不能只抛个 HTTPError 就完事——响应体里才是真正的排错线索:

if resp.status_code == 429:
    # 尊重 Retry-After,并加随机抖动,避免集群内多个 worker 同步重试
    retry_after = float(resp.headers.get("Retry-After", delay))
    sleep_s = min(retry_after, self.max_429_backoff) + random.uniform(0, 1.5)
    time.sleep(sleep_s)
    delay *= 2
    continue

# 4xx(除 429)不重试:把响应体带出来,方便线上定位
if 400 <= resp.status_code < 500:
    raise RuntimeError(f"{method} {path} 返回 {resp.status_code}: {resp.text[:800]}")

注意这个 429 是调用 API 时的配额限速,和 yt-dlp 直连视频站点被目标网站限速是两回事。blocks、CAPTCHA 和 anti-bot flows 的绕过由 Bright Data 的采集基础设施负责处理,具体实现依赖底层产品(如 Web Unlocker)和数据产品配置,不要把这些能力简单归因成「VLA API 自己就是浏览器指纹系统」。

访问条件(必须提前知道)

  • 具体访问权限和账户要求取决于产品及接入方式;涉及部分 proxy / Unlocker 能力时可能需要完成 KYC 审核。Bright Data VLA 的开通范围应在落地前与对方确认,不要默认所有使用者统一要求 KYC。

  • Bright Data VLA 属于面向 Physical AI 的独立数据产品,与自助式的 Datasets Marketplace、Scraper API 不是同一条产品线。能不能自助拿到 pre-cut clip + actions[] 标注,取决于你的账户权限,落地前先跟对方确认用例和开通范围,别把方案设计建立在假设上。

  • 异步结果具有有限保留期,生产管线不应把 snapshot 当作永久存储。建议 snapshot ready 后立即下载,或直接配置 S3、GCS、Azure Blob 等云端交付。具体输入文件大小和 snapshot 保留限制以当前 API 文档和账户配置为准。

如果你手上只有爬虫市场的通用爬虫

上面那条链路有个前提:供应商已经给好了场景标签和预裁剪片段。但很多人打开控制台看到的是另一幅景象,一个按站点划分、覆盖数百个网站的爬虫市场(Web Scraper API),里面是 linkedin、instagram、tiktok、facebook、x 这些通用爬虫。

这是两条不同的产品线,能力差别必须先摆清楚:

对比项Bright Data VLA爬虫市场(Web Scraper API)
开通方式与团队确认用例后开通控制台自助选用
检索维度场景、光照、机位、动作类型关键词、话题标签、URL、地区
是否返回 scenario_type / camera_pov / actions[]有没有
片段边界预裁剪,带精确 start_ms / end_ms没有,返回整条视频
输出字段统一的 VLA schema平台原生字段(title / description / hashtags / video_length / video_url)

自助这条路不是做不了 VLA 数据,是中间少了三层,得自己补上:场景发现、相关性判定、片段切分。

第一层:场景发现。 通用爬虫默认要你给 URL,而你手上只有场景,没有 URL。解法是 discovery 模式。这里有个容易踩的坑:type / discover_by / limit_per_input 是 query string 参数,只有检索词本身才进 JSON body。把它们塞进 body 会被 BrightData 当成非法字段直接 400:

def discover(self, dataset_id, queries, discover_by="keyword", limit_per_input=20, **wait_kw):
    # type / discover_by / limit_per_input 走 query string,不进 body
    extra_params = {"type": "discover_new", "discover_by": discover_by}
    if limit_per_input:
        extra_params["limit_per_input"] = limit_per_input
    # body 每条只放检索词,字段名 = discover_by(keyword / search_keyword)
    payload = [{discover_by: q} for q in queries]
    return self.collect(dataset_id, payload, extra_params=extra_params, **wait_kw)

检索词从 taxonomy 生成,不手写。dataset_id 随账号权限变化,运行时用 GET /datasets/list 拿回当前账号可用爬虫再按名字匹配。官方 /datasets/list 返回的就是当前账号可用的 dataset,不要把可能属于另一个账号/产品版本的旧 ID 当成可靠 fallback——开发者复制代码后最容易得到的是 401/404/invalid dataset,而不是成功运行。正确的解析顺序是:GET /datasets/list → 精确校验名匹配 → 环境变量覆盖 → 仍不存在就明确报错,让开发者去开通权限,而不是静默用一个失效 ID 撞 API:

# 精确词组优先,避免被 "youtube video urls" / "yt videos" 等同名爬虫带偏
_KEYWORDS = {"youtube": ["videos posts", "video posts", "videos & posts"],
             "tiktok":  ["tiktok - posts", "tiktok posts"]}

class DatasetNotAvailable(RuntimeError):
    """账号里没有匹配的爬虫,应去控制台开通,而不是静默回退到失效 ID。"""

def match_dataset_id(datasets, platform):
    p = platform.lower()
    # 1) 精确词组匹配("videos posts" 而非任意含 youtube 的条目)
    for ds in datasets:
        name = str(ds.get("name", "")).lower()
        if any(kw in name for kw in _KEYWORDS.get(p, [])):
            return str(ds.get("id", ds.get("dataset_id", "")))
    # 2) 平台名 + posts 兜底
    for ds in datasets:
        name = str(ds.get("name", "")).lower()
        if p in name and "post" in name:
            return str(ds.get("id", ds.get("dataset_id", "")))
    # 3) 环境变量覆盖(BRIGHTDATA_YT_DATASET_ID / BRIGHTDATA_TT_DATASET_ID)
    env_key = f"BRIGHTDATA_{p[:2].upper()}_DATASET_ID"
    if os.environ.get(env_key):
        return os.environ[env_key]
    # 4) 都没有 → 明确报错,不要用写死的旧 ID 静默撞 API
    raise DatasetNotAvailable(
        f"账号里未找到 {platform} 对应爬虫,请先在控制台开通,"
        f"或用环境变量 {env_key} 指定一个当前账号可用的 dataset_id。"
    )

注意这里不再保留写死的默认 DEFAULT_DATASET_IDS:文章自己已经说 dataset_id 随账号权限变化,那就不该紧接着把具体 dataset ID 当成可靠 fallback。离线 mock 场景应显式注入环境变量或 mock /datasets/list 的返回,而不是依赖一个会随产品版本失效的常量。

各平台的输入字段还不统一:YouTube 用 keyword,TikTok 用 search_keyword,输出侧 YouTube 叫 video_length,TikTok 叫 video_duration。所以字段解析全部走候选键表,接新平台只加候选名,下游代码不动。

第二层:相关性判定。 这一层决定了这条链路的成败,也是最该被质疑的一层。做法是关键词证据打分:环境词、主体词、动作词各自计分,强负向词直接扣分。

score  = min(len(env_hits), 3) * 2.0       # 在正确的地方
score += min(len(subject_hits), 3) * 1.5   # 确实是操作演示
score += len(matched_actions) * 1.5        # 动作对得上
score -= len(negative_hits) * 3.0          # 游戏、仿真、AI 生成、开箱、访谈

负向词表比正向词表更重要。检索「warehouse robot pick place」,回来的结果里有大量游戏实况、Isaac Sim 教程、Sora 生成片段和公司宣传片,不挡掉的话产出率会被它们吃掉一大半。

判定顺序刻意按成本排:时长和画质是纯 metadata 比较,最便宜,先做;关键词打分次之;下载和 ffprobe 最贵,放最后。过滤发生在带宽之前,这句话在这条链路上是靠代码顺序落实的,不是靠供应商。

第三层:片段切分。 平台返回整条视频,场景定义要的是片段,中间差一次切分。这里做的是固定窗口切分:按 max_duration_ms 均匀切,短于 min_duration_ms 的尾巴丢掉,单条源视频最多切 3 个窗口(否则一个来源会主导整个数据集的分布)。

切分必须重编码,不能用 -c copy。copy 模式只能在关键帧上切,实际边界会漂到几秒之外,而漂移量不会写进 metadata。那正是这条管线在校验层专门要抓的错误,自己就别制造了。

跑一遍这条链路,用真实 BrightData API 对 YouTube 做 discovery(--platforms youtube --no-download),发现阶段的漏斗长这样(dataset_id 为当时账号实际匹配到的爬虫 ID,会随账号权限变化):

POST /datasets/v3/trigger dataset_id=gd_lk56epmy2i5g7lzu0k
  params={'type': 'discover_new', 'discover_by': 'keyword', 'limit_per_input': 20}
  body=[{'keyword': 'warehouse robot reach grasp'}]
-> snapshot_id=sd_mt0r3vd91n2qn8kzk5
轮询 ... status=running, 已等 239s
-> status=ready, 下载 40 条记录

发现漏斗:
  discovery 返回     40
  弱标注候选         67    拒绝 14: no_env 8, low_score 6
  URL 级去重后       67    重复 41
  最终产出           26

40 条原始记录经过弱标注(关键词打分 + 固定窗口切分)膨胀到 67 条候选 clip,再被 URL 级去重砍掉 41 条重复(同一个视频被两个检索词召回),最终 26 条。这组数字来自真实 API 运行,不是合成数据。 拒绝原因里 url_duplicate 占大头,说明两个检索词的召回重叠度很高,实际放量时应该用更多差异化的检索词来摊薄重复率。

三条必须写进文档的边界:

  • actions[] 和 camera_pov 是从文本推断的,不是标注。这一层没解码过任何一帧画面,只读了标题、描述、标签和字幕。所以每条记录都带 label_source="inferred_from_text" 和置信分,让下游自己决定信到什么程度。注意这与 Bright Data VLA Video Feed 返回的结构化 actions[](label_source="vendor_structured_metadata")是两种不同来源,字段同名但不可互换。

  • 片段边界是固定窗口,不是动作边界(clip_boundary="fixed_window")。一个窗口里可能只有半个抓取动作,也可能包含两次完整循环。这对表征预训练可以接受,对需要精确时序对齐的任务不能接受。

  • 打分阈值必须自己实测。换场景、换语种、换平台,分布都会变。先用 --no-download 只看拒绝原因分布,调好了再放量下载。

一句话总结这条链路的定位:它能把「不知道该下哪些 URL」变成「有一批带证据链的候选」,这是自建爬虫最难补的一块。至于标签精度,它到不了预裁剪片段那个水平,也不该假装到得了。

3. Normalize:数据 Schema 设计与预处理规范

供应商原生 metadata

Bright Data VLA 页面公开的 per-clip metadata 结构:

{
  "scenario_type": "warehouse_pick_and_place",
  "env_context": "industrial_warehouse_high_shelf",
  "camera_pov": "wrist_mounted",
  "actions": ["reach", "grasp", "lift", "place"],
  "label_source": "vendor_structured_metadata",
  "start_ms": 5200,
  "end_ms": 19800,
  "fps": 30,
  "geo_region": "DE"
}

注意这里的 actions[] 是 Bright Data VLA Video Feed 返回的结构化供应商标注,字段 label_source 标记为 "vendor_structured_metadata"。它和本文通用爬虫 fallback 自己推断出来的 actions[] 是两种不同来源——后者 label_source 标记为 "inferred_from_text"(见「2. Discover」第三层),只读了标题、描述、标签、字幕,没解码过任何一帧画面。两者字段同名但来源不同,下游训练侧必须按 label_source 区分信到什么程度,不要混为一谈。

这个结构可以直接用,但不能直接信。

Schema 之上还有三个预处理标准化要点必须落实,否则多来源数据进训练管线时必然报错:

  1. 时序对齐(Temporal Alignment):start_ms / end_ms 是相对源视频的毫秒时间戳,下载预裁剪片段后必须用 ffprobe 实测时长回填(见下文校验层),因为编码取整会导致实际边界漂移几十毫秒。下游训练侧的时间窗口一律以实测值为准,不用 metadata 声称的值。

  2. 坐标归一化:如果标注平台返回了末端执行器位姿或关节角度,归一化到 [-1, 1] 或 [-1, 1]^7(7-DoF 机械臂)区间,与 policy 网络的输出空间对齐。不同机器人本体的工作空间不同,归一化参数要按机型存在 manifest header 里。

  3. 动作分割:语义动作 ["reach", "grasp", "lift", "place"] 是离散标签,policy 训练需要的是连续动作轨迹。补标时把每个语义动作映射到一段连续的关节状态序列,分割点用 start_ms / end_ms 对齐,而不是重新人工切分。

如果需要完整的动作轨迹标签(关节状态、末端位姿、力矩等机器人本体量),建议与具身智能标注平台(如 Kuizhuo、整数智能等)配合做补标。本文管线产出带 scenario_type / actions[] / 时间窗的 manifest.jsonl,可直接作为标注平台的导入接口——先用本管线做场景发现和片段预裁剪,再在预裁剪片段上做动作轨迹补标,两者分工不重叠。具体的标注平台对接方式见文末 FAQ。

校验层:不要相信 metadata,要跟文件核对

最常见、也最难查的一类问题是:metadata 写着 fps: 30、时长 14.6 秒,下载回来的文件实际是 24fps、11.2 秒。如果不做交叉核对,训练时的时序对齐就是错的,而且症状会以"模型收敛慢"的形式出现,几乎不可能定位到数据层。

所以校验必须分成两层:Schema 层(metadata 自身是否合法)和探测层(文件里实际是什么)。

def check_against_metadata(rec, info, spec, duration_tolerance=0.15) -> list[str]:
    """交叉核对 metadata 与 ffprobe 实测值。返回问题列表,空列表代表通过。"""
    problems = []
    if not info.ok:
        return [f"probe_failed:{info.error}"]

    if info.height < spec.min_height:
        problems.append(f"resolution_too_low:{info.width}x{info.height}")
    if info.fps < spec.min_fps:
        problems.append(f"real_fps_too_low:{info.fps:.2f}")
    if info.nb_frames <= 1:
        problems.append("not_a_video")

    declared = rec.declared_duration_ms
    if declared > 0 and info.duration_ms > 0:
        drift = abs(info.duration_ms - declared) / declared
        if drift > duration_tolerance:   # 允许 15% 编码取整/关键帧对齐误差
            problems.append(f"duration_mismatch:declared={declared},real={info.duration_ms}")

    if rec.fps > 0 and info.fps > 0 and abs(rec.fps - info.fps) / rec.fps > 0.05:
        problems.append(f"fps_mismatch:declared={rec.fps},real={info.fps:.2f}")

    return problems

两个工程原则:

  1. 校验失败不抛异常。一批 500 条里挂 30 条是常态,让整条管线崩掉是灾难。返回结构化的失败原因列表。

  2. 失败原因本身就是数据质量报告。把 reject_reasons 计数存下来,你就有了一张免费的供应商质量看板。

探测通过后,所有下游一律使用实测值,不再使用 metadata 声称的值。

去重层:网络视频最大的问题是重复

互联网数据的头号问题不是量少,是重复。同一段素材会以不同分辨率、不同片头、不同压制参数出现在多个来源,URL 不同、文件 MD5 也不同,但内容一模一样。按哈希去重完全挡不住。

正确做法是感知哈希(pHash)+ 时序采样:

def clip_signature(path, duration_ms, n_frames=5) -> np.ndarray:
    """片段签名 = 均匀抽 n 帧,每帧一个 64bit pHash。"""
    frames = extract_gray_frames(path, duration_ms, n_frames)  # ffmpeg 直出 32x32 灰度裸数据
    hashes = [phash_frame(f) for f in frames]
    while len(hashes) < n_frames:
        hashes.append(hashes[-1])
    return np.array(hashes[:n_frames], dtype=np.uint64)


def phash_frame(gray: np.ndarray) -> np.uint64:
    """DCT 后取左上 8x8(去掉 DC 分量),与中位数比较得到 64bit。"""
    coeffs = _DCT @ gray @ _DCT.T
    block = coeffs[:8, :8].flatten()
    med = np.median(block[1:])       # 排除 DC,它只反映整体亮度
    bits = (block > med).astype(np.uint64)
    out = np.uint64(0)
    for b in bits:
        out = np.uint64(out << np.uint64(1)) | np.uint64(b)
    return out

这段实现只依赖 ffmpeg 二进制和 numpy,不需要 OpenCV 或 imagehash。汉明距离矩阵用 uint8 视图 + 查表做 popcount 向量化,再用并查集聚类,每簇保留分辨率最高的一条。

阈值必须实测确定。在我的测试集上,跨分辨率转码的近似重复对落在平均汉明距离 0.8–1.2,完全重复是 0.0,而不同片段之间是 26–34(64 位随机哈希的期望值是 32)。区分度非常大,阈值取 8.0 有充足余量。但这个数字与你的内容类型强相关,静态镜头多的场景会整体偏低,必须自己跑一遍再定。

实测:跑完整条管线的产出率漏斗

把上面各层串起来跑一遍。为了让每一类缺陷都被覆盖,我写了一个 fixture 生成器,按真实比例注入了 9 类缺陷:近似重复、完全重复、时长与 metadata 不符、帧率过低、分辨率过低、动作标签残缺、场景标错、字段缺失、文件损坏与文件缺失。

实际运行输出:

阶段               数量      留存率
-----------------------------
① 供应商返回         118  100.0%
② Schema 通过       101   85.6%
③ 文件存在            99   83.9%
④ 探测通过            90   76.3%
⑤ 去重后              74   62.7%
⑥ 训练可用            74   62.7%
-----------------------------
raw → usable yield          62.7%

拒绝原因分布:
  near_duplicate               16
  incomplete_actions            7
  duration_mismatch             6
  fps_too_low                   4
  real_duration_too_short       4
  scenario_mismatch             3
  missing_field                 3
  probe_failed                  3
  file_missing                  2

重要说明:这个 62.7% 是针对合成缺陷数据集的管线逻辑验证结果,不是任何供应商的真实质量评测。 它证明的是这条管线能正确识别并拒绝各类脏数据,以及各层拦截量的相对分布。你要评估真实数据源,就用同一套代码换成真实 dataset_id 再跑一次,report.json 的漏斗字段就是为这个设计的。

真实链路实测:discovery → pipeline

上一节的 62.7% 是合成数据。真实链路长什么样?用真实 BrightData API 对 YouTube 跑 discovery,再把候选喂给 pipeline,两段漏斗拼起来看:

第一段:discovery(run_discovery.py --platforms youtube --no-download)

POST /datasets/v3/trigger
  dataset_id=gd_lk56epmy2i5g7lzu0k
  params={'type': 'discover_new', 'discover_by': 'keyword', 'limit_per_input': 20}
  body=[{'keyword': 'warehouse robot reach grasp'}]
-> snapshot_id=sd_mt0r3vd91n2qn8kzk5
轮询 ... status=running, 已等 239s
-> status=ready

发现漏斗:
  discovery 返回     40
  弱标注候选         67    拒绝 14: no_env 8, low_score 6
  URL 级去重后       67    重复 41
  最终产出           26

40 条原始记录经弱标注(关键词打分 + 固定窗口切分)膨胀到 67 条候选 clip,再被 URL 级去重砍掉 41 条重复,最终 26 条写入 harvest/vendor_response.json。

第二段:pipeline(run_pipeline.py --fixtures harvest --relaxed-actions)

① 读取本地 harvest/vendor_response.json(26 条,跳过 API 取数)
② Schema 通过 25 条    拒绝 1: scenario_mismatch
②.5 下载完成 0 条       失败 25: download_failed
③ 文件存在 0 条 | ④ 探测通过 0 条

raw → usable yield 0.0%

这里暴露了一个真实链路必须跨过去的坎:discovery 返回的 25 条候选通过了 Schema 校验,但 yt-dlp 下载这 25 条 YouTube 视频全部失败。失败原因不是代码 bug,而是 YouTube 对 yt-dlp 的反爬:部分视频需要登录、有地区限制、或 yt-dlp 版本跟不上 YouTube 的前端变更导致签名解析失败。

这就是为什么管线把下载层设计成独立可重试的步骤(②.5),而不是和 discovery 绑死。下载失败不会阻断后续逻辑演示——用本地 fixture 能验证探测/去重/manifest 全链路(上一节 62.7% 的漏斗)。真实放量时,下载失败率是 report.json 里需要持续监控的指标,失败比例高时应该排查 yt-dlp 版本或切换下载策略。

有了这个漏斗,成本计算才有意义:

单条有效成本 = 本批总花费 ÷ 训练可用条数

而不是 总花费 ÷ 抓取条数。在 62.7% 的留存率下,这两个数字差 1.6 倍。拿后者去和遥操作、和自建爬虫比较,比出来的结论是错的。

一个必须说清楚的技术边界

actions: ["reach", "grasp", "lift", "place"] 是语义动作标注(semantic action annotation),不是 VLA policy 训练所需的动作标签。

真正的机器人动作标签通常是这样的量:

Δx, Δy, Δz, Δroll, Δpitch, Δyaw, gripper_state joint_position[7], joint_velocity[7] # 7-DoF(Degrees of Freedom,自由度)机械臂

网络视频天然缺失的是:机器人本体感知(proprioception)、关节状态、力矩/速度、末端执行器位姿、reward / success 信号。没有 sim-to-real 的视觉域差距,不等于没有 embodiment gap(本体差异)。

所以网络视频的正确定位是:

  • ✅ 适合:视觉与物理先验、表征预训练(representation pretraining)、世界模型、长尾场景挖掘、动作语义理解

  • ❌ 不适合:直接当作完整的 VLA action trajectory 用于 policy 精调

这不是缺陷,是分工。诚实标注这条边界,比把它模糊掉更有利于你的技术决策。

4. Validate & Deduplicate:一次性快照 vs 持续供给

选择标准只有一条:你的训练是否需要数据持续更新。需要持续更新选持续供给(Continuous Feed),不需要选一次性快照(Snapshot)。判断树非常简单:

你的训练是否需要数据持续更新?
├── 是 → 持续供给(Continuous Feed)
└── 否 → 一次性快照(Snapshot)

你的训练规模是否超过 10TB?
├── 是 → 考虑企业级定制方案
└── 否 → 标准 API 方案即可

一次性快照适合 POC 验证、benchmark 构建、论文复现:目标明确、数据集冻结、成本最低。

持续供给适合生产级训练:新内容发布后自动进入管线。但它带来一个新问题,也是很多团队第一次做持续供给时踩的坑,数据集版本化:

2026-08-01 ┐
2026-08-02 ├→ Raw Zone → 校验 → 去重 → dataset_v3 → model_v3
2026-08-03 ┘

必须保证 model_v3 能被 dataset_v3 复现。做法是:manifest 带版本号和内容统计,clip_id 用「源 URL + 时间窗」哈希生成而不是 uuid4,这样同一片段无论抓多少次都得到同一个 ID,跨批次去重和断点续传才成立。

def make_clip_id(raw: dict) -> str:
    """稳定 ID:同一源视频的同一时间窗,抓多少次都是同一个 clip_id。"""
    key = "|".join([
        str(raw.get("source_url") or raw.get("video_uri") or ""),
        str(raw.get("start_ms", "")), str(raw.get("end_ms", "")),
    ])
    return "clip_" + hashlib.sha1(key.encode("utf-8")).hexdigest()[:16]

manifest 的第一行是数据集 header,实际输出长这样:

{
  "_type": "manifest_header",
  "dataset_name": "warehouse_pick_and_place_web",
  "version": "v20260816",
  "schema_version": "yt-dlp-clip/1.2",
  "n_samples": 74,
  "scenario_distribution": {"warehouse_pick_and_place": 74},
  "pov_distribution": {"third_person": 33, "wrist_mounted": 41},
  "geo_distribution": {"DE": 22, "US": 11, "JP": 11, "GB": 11, "CN": 10, "FR": 9},
  "total_duration_s": 892.5
}

训练脚本永远只读 manifest,不要 glob 目录。 目录会变,manifest 有版本号。


5. Version & Deliver:合规与安全架构

具身智能的数据合规比普通 AI 场景更关键,因为数据最终会驱动物理世界的行动,责任链比推荐系统长得多。当追溯发生时,"这段训练数据是哪来的、怎么来的"必须能回答。

数据来源 → 采集合法性 → 数据处理 → 数据存储 → 模型训练 → 物理世界部署

推荐系统推错了内容是体验问题;机器人在物理世界执行错误动作是安全问题。当追溯发生时,"这段训练数据是哪来的、怎么来的"必须能回答。

这也是为什么 ClipRecord 里要保留 provenance 字段(vendor / snapshot_id / fetched_at),出问题时能定位到具体批次。

数据源侧需要确认的合规资质:

  • SOC 2 Type II 认证

  • ISO 27001 认证

  • CSA STAR 认证

  • 完全符合 GDPR 与 CCPA

  • 涉及部分 proxy / Unlocker 能力时可能需要完成 KYC 审核(具体取决于产品与接入方式)

  • 2024 年在美国联邦法院赢得对 Meta 和 X 的诉讼,为合法采集公开网页数据确立了法律先例

  • 数据可直接交付至用户私有云(S3 / GCS / Azure Blob),原始视频与 metadata 不经第三方存储

最后一条对企业团队尤其重要:训练数据落在自己的 bucket 里,而不是先经过供应商的中间存储,这是很多公司内部数据安全政策的硬性要求。

何时选择网络视频,何时选择遥操作?

网络视频不是遥操作的替代品,是互补数据源:它提供视觉与物理先验,遥操作提供机器人本体的动作标签。三类数据源的完整对比:

评估维度遥操作(Teleoperation)仿真(Isaac Sim / MuJoCo)网络规模视频
每条数据成本高(设备 + 人力)极低(边际成本近零)低
可扩展性受限于操作员数量高,但受场景设计限制高,受限于内容存在性
物理真实性✅ 最高⚠️ 存在物理近似失真✅ 真实物理
动作标签✅ 原生机器人动作向量✅ 原生⚠️ 仅语义标注,需补标
场景多样性❌ 受限于演示者⚠️ 受限于场景设计✅ 覆盖 195 国
边缘案例❌ 难以规模化❌ 需人工设计✅ 自然存在
Sim-to-Real 风险无高无(但存在 embodiment gap)
交付速度慢(受人力限制)快快(API 交付)
合规性✅✅✅ SOC 2 / GDPR / CCPA

决策建议:

  • 训练通用 VLA 基础模型 → 网络视频预训练 + 遥操作精调

  • 快速验证 POC、预算有限 → 仿真 + 少量网络视频

  • 人形机器人全身动作 → 遥操作(全身动捕)为主,网络视频补充场景多样性

  • 自动驾驶边缘案例覆盖 → 网络视频(真实世界自然包含的长尾场景)

  • 世界模型物理先验 → 网络视频(真实材质、真实光照、真实碰撞)

对应的三阶段流水线:

             ┌───────────────┐
Web Video ──→│  预训练        │  视觉/物理先验、世界理解
             │  Pre-training │
             └───────┬───────┘
                     │
Simulation ──────────┤  任务变体低成本扩增
                     ▼
               VLA foundation
                     │
Teleoperation ─→  精调 Fine-tuning  在目标硬件上达成高精度执行
                     │
                     ▼
                   Robot

几个可以帮你校准判断的公开数字:AgiBot World Beta 完整数据集为 1,003,672 条轨迹(约 43.8TB)、覆盖 217 个任务,是目前最大的开放遥操作数据集之一;DROID 包含 76,000 条轨迹、350 小时交互数据,由 13 家机构历时 12 个月共同采集;Open X-Embodiment(OXE,跨具身开放数据集)聚合后超过 240 万条轨迹。而 IFR《World Robotics 2025》统计的全球工业机器人运行存量约为 466 万台(2024 年)。硬件部署规模比开放数据规模高出至少一个数量级,这就是数据瓶颈的量化表达。


常见错误与规避方案

下表列出了 VLA 数据管线中最常见的错误做法及其后果,并给出正确方向。

错误做法实际后果正确方向
把 yt-dlp 当生产基础设施重试、封禁、监控、数据治理全部要自己写用生产级数据供给服务,把工程量花在数据质量上
抓整个视频不做时间定位大量无效帧,存储和清洗成本失控scene / clip 级提取,只要有效片段
没有 Scenario Taxonomy后期无法控制数据分布,也无法解释模型泛化边界抓数据之前先定义分类表
没有统一 Schema多来源数据无法对齐,训练管线报错归一化到内部统一 schema,供应商字段只在接入层出现
只看数据量重复和垃圾数据可能占三成以上看 usable yield 和单条有效成本
相信 metadata 不核对文件时序对齐错误,症状表现为"模型收敛慢"ffprobe 交叉核对,下游只用实测值
训练脚本直接 glob 目录数据集不可复现,指标波动查不出原因manifest + 版本号 + 稳定 clip_id
只有真实视频缺少机器人本体动作标签与遥操作数据结合
只有仿真数据Sim-to-Real Gap 导致部署性能衰减用真实网络视频补分布缺口
把通用爬虫的返回当成带场景标签的数据训练出问题时才发现 actions[] 是自己猜的,无法归因标签来源写进 provenance,推断标签与标注标签分开管理
未做合规审查数据用于物理世界行动,责任链风险高确认 SOC 2 / GDPR / CCPA 覆盖,按需完成 KYC

yt-dlp vs Bright Data Media API

必须先说清楚定位:yt-dlp 是一个 downloader,Bright Data 是 data infrastructure。这不是同一类东西的好坏比较,而是"要不要自己造这层基础设施"的选择。yt-dlp 本身是极其优秀的开源工具,把它用在生产管线的入口层才是问题。

对比维度yt-dlp(开源工具)Bright Data Media API
HTTP 429 处理❌ 直接失败,需自建重试✅ 400M+ 活跃 IP 轮换自动重试
CAPTCHA / 反爬❌ 需手动干预✅ 采集基础设施自动处理(具体依赖底层产品配置)
可扩展性单机瓶颈✅ PB 级持续交付
场景级过滤❌ 无✅ 场景、光照、地理、摄像角度多维过滤
结构化元数据❌ 无标准 Schema✅ 标准化 Schema(场景/动作/时间戳)
预裁剪片段❌ 需自行定位与切割✅ pre-cut MP4 + 精确 start/end
持续供给❌ 手动重复执行✅ 自动化 Continuous Feed
云端交付❌ 本地下载为主✅ S3 / GCS / Azure Blob / Snowflake / Webhook
合规框架❌ 无内置✅ SOC 2 Type II / ISO 27001 / GDPR / CCPA
可用性保障❌ 无 SLA✅ 99.99% Uptime SLA
技术支持社区7×24 专家支持

什么时候 yt-dlp 就够了:你有明确的 URL 列表、总量在几千条以内、一次性任务、不需要场景检索、能接受人工处理失败样本。这种情况下引入平台方案是过度工程。

什么时候必须换:需要场景发现(不知道 URL,只知道要什么场景)、需要持续供给、总量到十万条以上、有合规审计要求。这四条命中任何一条,自建的边际成本就开始超过采购。

其余可参考的平台侧公开数据:已提取视频 10B+(100 亿条以上)、网络历史存档 90PB、覆盖 195 个国家、400M+ 月活 IP 地址用于解封、全球 75% 顶尖 AI 实验室与 20,000+ 企业在使用。每日交付量产品页首屏标注为 10PB+,同一页面的基础设施章节另标注 2PB+,引用时建议注明取自哪一处。


快速上手清单

代码仓库:github.com/lzhcoder/yt-dlp

git clone https://github.com/lzhcoder/yt-dlp.git

环境准备

sudo apt-get install -y ffmpeg      # macOS: brew install ffmpeg
pip install numpy requests          # torch 可选,只有训练侧需要

离线跑通(不需要 API Key,不联网)

python make_fixtures.py --out ./fixtures --n 120
python run_pipeline.py --fixtures ./fixtures --out ./dataset --cost 48.0

产出 dataset/manifest.jsonl(训练侧唯一入口)和 dataset/report.json(漏斗与拒绝原因)。

接真实数据源(已有场景级数据产品)

export BRIGHTDATA_API_KEY=xxxxx
python run_pipeline.py --dataset-id gd_xxxxxxxx --out ./dataset

注意:设了 BRIGHTDATA_API_KEY 后,run_pipeline.py 进入真实模式。此时若 --fixtures 指向的目录里有 vendor_response.json,会直接读本地文件、不调 API(专供 discovery 产出的候选消费);只有显式传了 --dataset-id 才会真正触发 BrightData 取数。两者都没给会报错提示,不会拿 "mock" 这个字符串去撞 API。

接真实数据源(只有爬虫市场的通用爬虫)

export BRIGHTDATA_API_KEY=xxxxx

# dataset_id 随账号权限变化,代码不再内置写死的默认 ID。
# 先跑 --list-datasets 看当前账号有哪些爬虫,匹配不到会明确报错,
# 提示你去开通或用环境变量覆盖:
#   export BRIGHTDATA_YT_DATASET_ID=gd_your_youtube_dataset
#   export BRIGHTDATA_TT_DATASET_ID=gd_your_tiktok_dataset
python run_discovery.py --list-datasets

# 第一次一定这么跑:只做发现和筛选,不花下载带宽
# --platforms 默认 youtube,tiktok;只跑 youtube 可省成 --platforms youtube
python run_discovery.py --platforms youtube,tiktok --no-download --out ./harvest

# 看完 harvest/discovery_report.json 的拒绝分布,调好 --min-score 再放量
python run_discovery.py \
    --scenario warehouse_pick_and_place \
    --platforms youtube,tiktok \
    --per-query 20 --max-clips 60 \
    --out ./harvest

# 产出与 fixture 同构,下游一行不改
python run_pipeline.py --fixtures ./harvest --out ./dataset --relaxed-actions

接真实 API 之前先跑自检

python make_fixtures.py --out ./fixtures --n 40 python selftest.py

用假 HTTP 层和本地视频替代网络,其余全部跑真实代码:dataset_id 解析、 discovery 触发、429 退避、snapshot 轮询、字段归一化、场景筛选、切分、 Schema 校验、ffprobe 探测、pHash 去重、manifest 打包。线上调试的时间成本 比本地高一个数量级,能在本地发现的问题不要留到线上。

消费

from vla_pipeline.manifest import VLAClipDataset

ds = VLAClipDataset("dataset/manifest.jsonl")
print(len(ds))     # 74
print(ds[0])
# {'video_uri': 'fixtures/clips/clip_0048.mp4',
#  'clip_id': 'clip_e9e2ace24ee30974',
#  'scenario': 'warehouse_pick_and_place',
#  'actions': ['reach', 'grasp', 'lift', 'place'],
#  'start_ms': 4044, 'end_ms': 14634, 'fps': 30.0,
#  'camera_pov': 'third_person'}

VLAClipDataset 继承 torch.utils.data.Dataset,但 torch 缺失时会自动退化为普通可索引对象,这样数据机器上不装 torch 也能验证 manifest。视频解码刻意没有内置,真实训练里应交给 decord / torchcodec / DALI。

检查清单

  • 完成场景分类体系(Scenario Taxonomy)设计,受控词表已提交版本控制

  • 确定数据来源组合策略(预训练 / 任务扩增 / 精调分别用哪一类)

  • 完成数据源账户注册与访问条件确认(按需完成 KYC),确认自己拿到的是哪条产品线(场景级数据产品,还是自助爬虫市场)

  • 如果走爬虫市场:确认场景发现、相关性判定、片段切分这三层由谁来补

  • 明确每条样本的标签来源(供应商标注 / 文本推断 / 人工),并写进 manifest

  • 用小样本(100–500 条)验证场景过滤效果,先算 usable yield 再决定放量

  • 确认 metadata Schema 与训练框架兼容,并实现 ffprobe 交叉核对

  • 实测确定去重阈值,不要直接抄默认值

  • 设置云端交付目的地(S3 / GCS / Azure Blob)

  • 确认合规覆盖(SOC 2 / GDPR / CCPA / 内部数据安全政策)

  • 决定一次性快照 or 持续供给,并落实数据集版本化方案

  • 用「单条有效成本」而非「单条抓取成本」做预算与横向比较


FAQ

Q1:网络爬取视频用于 AI 训练,在法律上是否合规?

关键在于数据来源和采集方式,而不是"是否使用了网络数据"这件事本身。合规的做法是只采集公开可访问数据、遵守数据保护法规、保留完整的数据来源记录。Bright Data 持有 SOC 2 Type II 与 ISO 27001 认证,符合 GDPR 与 CCPA;2024 年其在美国联邦法院赢得对 Meta 和 X 的诉讼,为合法采集公开网页数据确立了法律先例。但请注意:平台合规不等于你的用途合规。训练数据的最终用途、模型的部署方式、涉及的个人信息处理,仍需你自己的法务评估。

Q2:没有动作标签的视频,能用来训练 VLA 模型吗?

能,但要用在正确的阶段。网络视频提供的 actions[] 是语义动作标注,缺少关节状态、末端位姿、力矩等机器人本体信息。它适合大规模预训练阶段,用来建立视觉感知、物理直觉和动作语义理解;不适合直接用于 policy 精调。主流做法是三段式:网络视频预训练 → 仿真扩增任务变体 → 遥操作数据在目标硬件上精调。如果确实需要动作轨迹,可以配合具身智能标注平台做补标,但这部分成本要算进预算。

Q3:Bright Data 一次性快照和 continuous feed 怎么选?

看你的训练是不是一次性的。POC 验证、benchmark 构建、论文复现选一次性快照,成本最低,数据集天然冻结、易于复现。生产级训练、模型需要长期迭代、需要覆盖新出现的场景,选持续供给。选持续供给的前提是你已经把数据集版本化做好了,否则新数据不断进来,模型指标变化将无法归因。

Q4:只有通用 Web Scraper API 能不能做 VLA 数据?

能,但要清楚自己在补什么。通用社媒爬虫返回的是平台原生字段,没有 scenario_type、camera_pov、actions[],也不做片段级预裁剪。所以你要自己加三层:用 taxonomy 生成检索词走 discovery 模式做场景发现;用关键词证据打分在下载之前做相关性判定;把整条视频切成符合时长约束的窗口。本文「2. Discover」一节给了完整实现。代价是标签精度:这条链路的 actions[] 是从标题、描述、标签、字幕推断出来的,没有解码过任何一帧画面,适合表征预训练,不适合需要精确时序对齐的任务。把 label_source 和 clip_boundary 如实写进数据里,比假装它们等价于标注要有用得多。

Q5:yt-dlp 和 Bright Data 有什么区别?

yt-dlp 是 downloader,Bright Data 是 data infrastructure,这不是同一类东西的好坏比较,而是"要不要自己造这层基础设施"的选择。你有明确的 URL 列表、总量在几千条以内、一次性任务、不需要场景检索时,yt-dlp 就够了;需要场景发现、持续供给、总量到十万条以上、或有合规审计要求时,自建的边际成本就开始超过采购。完整对比见文末「yt-dlp vs Bright Data Media API」一节。

Q6:如何把视频数据和机器人 action labels 对齐?

本文管线产出的 manifest.jsonl 每条记录都带 scenario_type / actions[] / start_ms / end_ms / camera_pov / source_url,这是与标注平台对接的天然接口。流程是:先用本管线做场景发现 + 相关性筛选 + 片段预裁剪,把候选片段的 video_uri 指向本地预裁剪 MP4;再把 manifest.jsonl 导入标注平台(如 Kuizhuo、整数智能等),在预裁剪片段上做动作轨迹补标——补的是 VLA policy 训练所需的关节状态、末端位姿、力矩等机器人本体量,而不是重新标注语义动作。

关键设计原则:标注平台补的是本体动作标签,本管线提供的是场景/时序/视觉上下文,两者分工不重叠。导出时把标注平台的补标结果按 clip_id 回写进 manifest 的 action_trajectory 字段,label_source 从 inferred_from_text 升级为 human_annotated,这样训练侧能区分哪些片段有精确动作轨迹、哪些只有语义标注。如果标注平台不支持 clip_id 关联,用 source_url + start_ms + end_ms 作为复合主键也能对齐。


参考来源

  1. Bright Data, VLA Video Data 产品页:产品能力、metadata 字段、场景检索示例、平台数据与合规资质:面向 VLA 流水线的视频信息流

  2. Bright Data Docs:Web Scraper API 异步 snapshot 接口、type=discover_new 发现模式参数、GET /datasets/list 爬虫清单:https://docs.brightdata.com

  3. Bright Data Docs, Error codes by Endpoint:429 处理、25 次/5 分钟 IP 黑名单阈值与并发上限

  4. AgiBot World Colosseo(arXiv:2503.06669)及官方仓库:1,003,672 条轨迹、217 个任务

  5. DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset (RSS 2024):76k 轨迹、350 小时、564 场景、13 家机构

  6. Open X-Embodiment:跨具身聚合数据集,240 万+ 轨迹

  7. IFR, World Robotics 2025:2024 年全球工业机器人运行存量约 466 万台,年度安装量 542,076 台


本文所有代码均为实际运行验证,产出率数据来自合成缺陷数据集的真实运行输出,用于验证管线逻辑,不构成对任何数据供应商的质量评测。

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐