AiBrainBox-UGV的端侧AI架构

图片

AiBrainBox-UGV = RK3588 + Hailo-8 + 三目MIPI RGB相机 + LiDAR+工业级IMU+UWB+双RTK

Hailo-8负责高频视觉AI,RK3588负责融合、跟踪和轻量语义逻辑;CLIP/语义模型低频、事件驱动运行。

Semantic Vision能力

RK3588+Hailo-8

推荐实现

实时性

Open-Vocabulary Detection

🟢 可实现

YOLO + Open-Vocab/CLIP

低频

Attribute Recognition

🟢 很适合

轻量分类器 + CLIP

低频

Referring Expression

🟡 可以实现

CLIP + Detection + Spatial Logic

事件驱动

Scene Understanding

🟡 可实现

Scene Graph + VLM/规则

0.5–2 Hz

YOLO Detection

🟢 很充裕

Hailo-8

20–30 FPS

Re-ID

🟢 很充裕

Hailo-8

20–30 FPS

Tracking

🟢

RK3588 CPU

30 FPS+

LiDAR融合

🟢

RK3588 CPU

10–20 Hz

图片

AiBrainBox-UGV的端侧AI架构

图片

第一版算法原型直接定成:

YOLO + Re-ID + CLIP + Attribute + LiDAR + UWB + Kalman/IMM → Semantic Multi-Modal Target Tracking

而 Open-Vocabulary Detection、Referring Expression、Scene Understanding 先作为上层能力逐步加入

Hailo-8实际模型组合Benchmark

:YOLO + Re-ID + CLIP + Attribute 同时运行时的FPS、延迟、内存和PCIe数据搬运开销。因为26 TOPS只是峰值指标,最终吞吐会明显取决于具体模型、量化方式和编译后的执行图。Hailo自己的工具链也提供Profiler来评估模型在硬件上的预期性能。

RK3588 + Hailo-8足够完成第一代Semantic Vision Engine。

但建议把目标限定为:

“端侧轻量Semantic Vision Engine + 高速Tracking Engine”

而不是:

“端侧通用VLM推理平台”。

具体来说:

图片

Hailo-8非常适合你的视觉感知 + 语义Embedding + 多模型并行路线;它的26 TOPS和2.5W典型功耗也很适合机器狗/UGV这种功耗受限平台。

四个Semantic Vision能力,我建议这样定义产品级指标

对于你现在的AiBrainBox-UGV,我不建议把指标写成:

“支持CLIP。”

而应该定义成:

图片

Semantic Vision Engine

图片

Scene Understanding分成两级

图片

图片

图片

Edge AI Hierarchy(端—边—云三级智能架构)

图片

所以:

端侧负责“看见、识别、跟踪、测量、执行”;边/云负责“理解、推理、规划、知识调用”。

这是非常合理的架构。

图片

能力

UGV端

边侧

云侧

Open-Vocabulary Detection

✓

✓

Attribute Recognition

✓

✓

Re-ID

✓

CLIP Embedding

✓

✓

Referring Expression

轻量

✓

✓

Scene Understanding

简化

✓

✓

VLM

✓✓

LLM

✓✓

Mission Reasoning

✓✓

Knowledge/Ontology

✓✓

端侧最重要的不是“理解”,而是构建Target State

图片

图片

端侧感知 → 边侧认知 → 云侧知识/决策

图片

也就是说:

视频是原始数据,Target Entity/Scene State才是机器真正理解后的数据。

Hailo-8:负责高频、确定性的视觉AI。
RK3588:负责ROS2、传感器融合、Tracking、Target State和设备控制。
边侧:负责VLM、Scene Understanding和多设备融合。
云侧:负责LLM、Knowledge、Ontology、Mission Intelligence。

AiBrain OS 的端侧智能节点:

Sensor → Perception → Target Entity → Edge Reasoning → Mission Intelligence → Action

图片

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐