AiBrainBox-UGV的端侧AI架构
AiBrainBox-UGV的端侧AI架构

AiBrainBox-UGV = RK3588 + Hailo-8 + 三目MIPI RGB相机 + LiDAR+工业级IMU+UWB+双RTK
Hailo-8负责高频视觉AI,RK3588负责融合、跟踪和轻量语义逻辑;CLIP/语义模型低频、事件驱动运行。
|
Semantic Vision能力 |
RK3588+Hailo-8 |
推荐实现 |
实时性 |
|---|---|---|---|
| Open-Vocabulary Detection |
🟢 可实现 |
YOLO + Open-Vocab/CLIP |
低频 |
| Attribute Recognition |
🟢 很适合 |
轻量分类器 + CLIP |
低频 |
| Referring Expression |
🟡 可以实现 |
CLIP + Detection + Spatial Logic |
事件驱动 |
| Scene Understanding |
🟡 可实现 |
Scene Graph + VLM/规则 |
0.5–2 Hz |
|
YOLO Detection |
🟢 很充裕 |
Hailo-8 |
20–30 FPS |
|
Re-ID |
🟢 很充裕 |
Hailo-8 |
20–30 FPS |
|
Tracking |
🟢 |
RK3588 CPU |
30 FPS+ |
|
LiDAR融合 |
🟢 |
RK3588 CPU |
10–20 Hz |

AiBrainBox-UGV的端侧AI架构

第一版算法原型直接定成:
YOLO + Re-ID + CLIP + Attribute + LiDAR + UWB + Kalman/IMM → Semantic Multi-Modal Target Tracking
而 Open-Vocabulary Detection、Referring Expression、Scene Understanding 先作为上层能力逐步加入
Hailo-8实际模型组合Benchmark
:YOLO + Re-ID + CLIP + Attribute 同时运行时的FPS、延迟、内存和PCIe数据搬运开销。因为26 TOPS只是峰值指标,最终吞吐会明显取决于具体模型、量化方式和编译后的执行图。Hailo自己的工具链也提供Profiler来评估模型在硬件上的预期性能。
RK3588 + Hailo-8足够完成第一代Semantic Vision Engine。
但建议把目标限定为:
“端侧轻量Semantic Vision Engine + 高速Tracking Engine”
而不是:
“端侧通用VLM推理平台”。
具体来说:

Hailo-8非常适合你的视觉感知 + 语义Embedding + 多模型并行路线;它的26 TOPS和2.5W典型功耗也很适合机器狗/UGV这种功耗受限平台。
四个Semantic Vision能力,我建议这样定义产品级指标
对于你现在的AiBrainBox-UGV,我不建议把指标写成:
“支持CLIP。”
而应该定义成:

Semantic Vision Engine

Scene Understanding分成两级



Edge AI Hierarchy(端—边—云三级智能架构)

所以:
端侧负责“看见、识别、跟踪、测量、执行”;边/云负责“理解、推理、规划、知识调用”。
这是非常合理的架构。

|
能力 |
UGV端 |
边侧 |
云侧 |
|---|---|---|---|
|
Open-Vocabulary Detection | ✓ |
✓ | |
|
Attribute Recognition | ✓ |
✓ | |
|
Re-ID | ✓ | ||
|
CLIP Embedding | ✓ |
✓ | |
|
Referring Expression |
轻量 | ✓ |
✓ |
|
Scene Understanding |
简化 | ✓ |
✓ |
|
VLM | ✓ | ✓ | |
|
LLM | ✓ | ✓ | |
|
Mission Reasoning | ✓ | ✓ | |
|
Knowledge/Ontology | ✓ | ✓ |
端侧最重要的不是“理解”,而是构建Target State


端侧感知 → 边侧认知 → 云侧知识/决策

也就是说:
视频是原始数据,Target Entity/Scene State才是机器真正理解后的数据。
Hailo-8:负责高频、确定性的视觉AI。
RK3588:负责ROS2、传感器融合、Tracking、Target State和设备控制。
边侧:负责VLM、Scene Understanding和多设备融合。
云侧:负责LLM、Knowledge、Ontology、Mission Intelligence。
AiBrain OS 的端侧智能节点:
Sensor → Perception → Target Entity → Edge Reasoning → Mission Intelligence → Action

更多推荐
所有评论(0)