RDK X5 + STM32F103 打造智能追踪机器人:从MIPI摄像头到YOLO模型部署全流程

最近在工作室捣鼓一个能自己“看”东西的机器人,想法很简单:让它能识别出眼前的物体,然后转动“脑袋”一直跟着它。听起来像是科幻片里的场景,但得益于现在强大的边缘计算开发板和成熟的AI模型,这事儿在自家工作台上就能搞定。我选择了地平线的RDK X5作为机器人的“大脑”,负责处理视觉信息;而经典的STM32F103则充当“小脑”,负责精准控制底盘的电机和云台舵机。这套组合拳,既发挥了RDK X5在AI推理上的强悍算力,又利用了STM32在实时控制上的稳定可靠,非常适合想从传统嵌入式跨入AI视觉领域的开发者。如果你手头有STM32的开发经验,但对如何部署一个神经网络模型感到无从下手,那么跟着我走完这个全流程,你就能亲手赋予一块电路板“视觉”和“思考”的能力。

1. 视觉系统的基石:MIPI摄像头选型与驱动配置

要让机器人“看见”,第一步是给它装上眼睛。在嵌入式视觉领域,MIPI CSI-2接口几乎是高清摄像头模组的标准配置。它就像连接摄像头传感器和处理器之间的一条高速公路,专为移动和嵌入式设备设计,追求的是高带宽、低功耗和抗干扰。

我最终选择了一款支持1080p@30fps的MIPI摄像头模组。选择它不仅仅是因为分辨率,更重要的是其**全局快门(Global Shutter)**特性。对于移动的机器人来说,拍摄的物体和机器人自身都可能处于运动状态。相比常见的卷帘快门(Rolling Shutter),全局快门能有效避免拍摄快速移动物体时产生的“果冻效应”,确保每一帧图像的所有像素都是在同一时刻曝光的,这对于后续的视觉算法稳定性至关重要。

提示:在选购MIPI摄像头时,除了分辨率和帧率,还需重点关注接口兼容性(如连接器型号、线序)、驱动电压(1.8V/2.8V)以及是否提供完整的驱动和配置文档。

拿到摄像头后,在RDK X5上的驱动配置比想象中要顺畅。RDK系统基于Linux,其相机驱动框架遵循标准的V4L2(Video for Linux 2)架构。这意味着大部分工作已经由内核和社区完成。我们的核心任务是编写一个设备树(Device Tree)覆盖文件,来正确描述这块摄像头硬件与RDK X5 SoC的连接关系。

// 示例:摄像头设备树节点片段 (dts overlay)
&i2c2 {
    status = "okay";
    #address-cells = <1>;
    #size-cells = <0>;

    camera_module: ov5647@36 {
        compatible = "ovti,ov5647";
        reg = <0x36>;
        status = "okay";

        clocks = <&clk_cam_24m>;
        clock-names = "xvclk";

        // 电源、复位、PWDN引脚定义
        ...
        port {
            camera_endpoint: endpoint {
                remote-endpoint = <&csi_in>;
                data-lanes = <1 2>; // 使用2条数据通道
                clock-lanes = <0>;
            };
        };
    };
};

编写好.dts文件后,使用设备树编译器(DTC)将其编译为.dtbo文件,并加载到系统中。之后,通过v4l2-ctl工具就能方便地列出设备、设置格式、抓取图像进行测试。

# 列出所有视频设备
v4l2-ctl --list-devices
# 查看摄像头支持的数据格式
v4l2-ctl -d /dev/video0 --list-formats-ext
# 使用ffmpeg抓取一帧图像测试
ffmpeg -f v4l2 -input_format mjpeg -video_size 1920x1080 -i /dev/video0 -vframes 1 test.jpg

这个过程的关键在于引脚映射和时钟配置必须与硬件原理图完全一致。一个常见的坑是MIPI的时钟线(CLK+/-)和数据线(DATA+/-)需要正确的差分对匹配,否则图像会出现严重的噪点甚至无法采集。

2. 让机器人学会“识别”:YOLO模型训练与优化实战

眼睛装好了,接下来是训练大脑。我们选择YOLOv5s作为基础模型,它在精度和速度之间取得了很好的平衡,非常适合RDK X5这类边缘计算设备。我们的目标是让机器人识别特定的几类物体,比如“人”、“水杯”、“笔记本电脑”。

数据集准备是模型效果的基石。 我并没有从零开始标注数据,而是采用了“预训练模型+自定义数据微调”的策略。首先从公开数据集中收集了大量包含目标物体的图片,然后使用LabelImg工具进行了精细的标注。这里分享一个提升效率的技巧:可以先使用一个通用的预训练YOLO模型对图片进行初步推理,自动生成标注框,人工再进行校正和补充,这比完全手动标注快得多。

一个高质量的数据集需要多样性:

  • 尺度多样性:包含远、中、近景的物体。
  • 光照多样性:晴天、阴天、室内、逆光等场景。
  • 背景多样性:物体出现在不同的环境中。
  • 遮挡多样性:部分被遮挡的物体也应被包含。

准备好数据集后,使用PyTorch框架进行训练。关键的训练参数设置直接影响最终模型的性能:

参数推荐值/策略说明
输入尺寸640x640兼顾精度与速度的常用尺寸。
Batch Size16-32根据GPU显存调整,越大通常训练越稳定。
初始学习率0.01使用余弦退火或带热重启的调度策略。
数据增强Mosaic, MixUp, 随机翻转、色彩抖动强烈建议开启,能极大提升模型鲁棒性。
训练轮数100-300观察验证集损失曲线,防止过拟合。

训练完成后,我们得到一个.pt文件。但这是PyTorch的模型,无法直接在RDK X5的BPU上运行。接下来的旅程,就是将它“翻译”成BPU能理解的格式。

3. 模型“瘦身”与部署:hb_mapper工具链深度解析

这是将AI算法落地到嵌入式硬件的核心环节,也是最具挑战性的一步。RDK X5的BPU(Brain Processing Unit)是一个专为AI计算设计的加速核,它需要特定的模型格式。地平线提供的 hb_mapper 工具链,就是完成这次“翻译”的桥梁。

整个过程可以概括为:PyTorch (.pt) -> ONNX (.onnx) -> 量化校准 -> 地平线模型 (.bin)。

第一步:导出ONNX。 使用YOLOv5自带的export.py脚本,确保导出时设置--dynamic参数以适应可能的动态批次,并指定--simplify以优化计算图结构。

python export.py --weights best.pt --include onnx --dynamic --simplify

第二步:准备校准数据。 这是量化过程中最关键的一步。量化会将模型权重和激活值从高精度的浮点数(FP32)转换为低精度的整数(INT8),以大幅提升推理速度、降低功耗和内存占用。但粗暴的量化会严重损失精度。校准的作用,就是通过分析一批有代表性的输入数据(通常来自训练集或验证集),为每一层计算合适的缩放系数,让量化后的数值分布尽可能接近原始浮点模型。

注意:校准数据必须是未经预处理的原始图像(如.jpg, .png)。hb_mapper工具会根据配置文件中的预处理设置,在内部完成与训练时一致的归一化、缩放等操作。通常准备100-200张图片即可。

第三步:编写模型转换配置文件。 这是一个YAML文件,它告诉hb_mapper工具所有关于模型和转换的细节。

# model_config.yaml 关键部分示例
model_parameters:
  onnx_model: 'yolov5s.onnx'
  march: 'bernoulli2' # 对应RDK X5的BPU架构

input_parameters:
  input_name: "images"
  input_shape: [1, 3, 640, 640] # NCHW格式
  input_type_train: 'rgb' # 输入数据格式
  norm_type: 'data_mean_and_scale' # 归一化方式
  mean_value: [123.675, 116.28, 103.53] # ImageNet常用均值
  scale_value: [0.017124, 0.017507, 0.017429] # 对应1/255的近似值

calibration_parameters:
  cal_data_dir: './calibration_data/' # 校准图片目录
  cal_data_type: 'float32' # 校准数据类型
  preprocess_on: true # 启用工具内预处理,与上面配置对应

第四步:执行转换。 运行hb_mapper makertbin命令。这里有一个重要的选择:是否开启 --fast-perf 模式。

  • 开启--fast-perf:工具会进行更激进的图优化,例如尝试将更多算子融合到BPU上执行,删除一些不必要的CPU算子(如量化/反量化节点、特定的Transpose等),以生成极限性能的模型。但优化过程可能更复杂,对某些特殊模型结构支持可能不稳定。
  • 不开启--fast-perf:进行标准转换,流程更稳健,兼容性更好,适合首次转换或模型结构较复杂的情况。

我的建议是,先不使用--fast-perf成功转换并验证功能,再尝试开启它以追求极致性能。转换命令如下:

# 标准转换
hb_mapper makertbin --config model_config.yaml --model-type onnx

# 开启fast-perf的转换(需直接指定onnx模型)
hb_mapper makertbin --fast-perf --model yolov5s.onnx --model-type onnx --march bernoulli2

转换成功后,你会得到关键的.bin模型文件以及一份详细的转换报告。报告里会列出每个算子是在BPU还是CPU上运行的,这是后续性能分析和优化的关键依据。我们的目标就是让尽可能多的算子(尤其是计算密集型的卷积)运行在BPU上。

4. 双核协同:STM32与RDK X5的通信与控制系统设计

现在,RDK X5已经具备了“看见”和“思考”的能力,它能输出识别到的物体类别和位置(边界框坐标)。接下来,需要让STM32F103理解这些信息,并驱动电机和舵机做出反应,完成“追踪”这个动作。这就涉及到两个异构核心之间的高效、可靠通信。

我选择了最经典、最可靠的**异步串口(UART)**作为通信桥梁。虽然速度不如SPI或USB,但其硬件简单、抗干扰能力强、软件协议易于调试,完全满足本项目每秒几十个控制指令的需求。

通信协议设计是稳定性的核心。 绝不能简单地在串口上发送原始字符串。我们需要设计一个轻量级的帧协议,确保每一包数据都能被正确解析。我设计了一个简单的定长帧结构:

[帧头 0xAA] [帧头 0x55] [命令字] [数据长度 N] [数据区... (N字节)] [校验和] [帧尾 0x0D] [帧尾 0x0A]
  • 帧头:用于在数据流中同步帧的起始位置。
  • 命令字:区分不同类型的消息,例如0x01代表视觉数据,0x02代表查询状态,0x03代表控制指令。
  • 数据区:采用紧凑的二进制格式。例如,视觉数据包可以设计为:[物体ID] [置信度] [中心点X坐标高字节] [中心点X坐标低字节] [中心点Y坐标高字节] [中心点Y坐标低字节]。这样,一个物体的数据仅用7字节就能表达。
  • 校验和:通常对从命令字到数据区结束的所有字节进行累加和或CRC8计算,用于检测传输过程中的错误。

在RDK X5端(Python示例),发送一帧数据的函数可能如下:

import serial
import struct

def send_vision_data(ser, obj_id, confidence, center_x, center_y):
    """发送一个物体的识别结果"""
    cmd = 0x01
    # 将坐标(假设是0-1000的整数)打包为两个字节
    data = struct.pack('>B B H H', obj_id, int(confidence*100), center_x, center_y)
    length = len(data)
    checksum = (cmd + length + sum(data)) & 0xFF # 简单累加和校验

    frame = struct.pack('>B B B B', 0xAA, 0x55, cmd, length) + data + struct.pack('>B B B', checksum, 0x0D, 0x0A)
    ser.write(frame)

在STM32端(C语言示例),则需要一个状态机来解析串口数据:

typedef enum {
    STATE_HEADER1,
    STATE_HEADER2,
    STATE_CMD,
    STATE_LEN,
    STATE_DATA,
    STATE_CHECKSUM,
    STATE_TAIL1,
    STATE_TAIL2
} UART_ParseState;

void UART_ParseByte(uint8_t byte) {
    static UART_ParseState state = STATE_HEADER1;
    static uint8_t cmd, len, data_index;
    static uint8_t data_buf[64];
    static uint8_t checksum_calc;

    switch(state) {
        case STATE_HEADER1:
            if(byte == 0xAA) state = STATE_HEADER2;
            break;
        case STATE_HEADER2:
            if(byte == 0x55) state = STATE_CMD;
            else state = STATE_HEADER1; // 同步失败,重置
            break;
        case STATE_CMD:
            cmd = byte;
            checksum_calc = byte;
            state = STATE_LEN;
            break;
        case STATE_LEN:
            len = byte;
            checksum_calc += byte;
            data_index = 0;
            if(len > 0 && len < sizeof(data_buf)) {
                state = STATE_DATA;
            } else if(len == 0) {
                state = STATE_CHECKSUM;
            } else {
                state = STATE_HEADER1; // 长度异常,重置
            }
            break;
        // ... 接收数据、校验、处理完整帧
    }
}

控制算法则运行在STM32上。 当收到视觉数据包后,STM32知道目标物体在图像中的位置(例如,中心点坐标(x, y))。一个简单的比例(P)控制器就能实现基本的追踪:计算物体中心与图像中心(320, 320)的偏差(dx, dy),然后将这个偏差按比例转换为云台舵机的PWM脉宽调整量,驱动舵机转动,使摄像头朝向目标,从而减小偏差。这个过程不断循环,就形成了闭环的视觉伺服控制。

// 简化的P控制示例
int32_t error_x = target_center_x - IMAGE_CENTER_X;
int32_t error_y = target_center_y - IMAGE_CENTER_Y;

// 比例系数Kp需要根据实际系统调试
int16_t pwm_adjust_x = (int16_t)(error_x * KP_GAIN_X);
int16_t pwm_adjust_y = (int16_t)(error_y * KP_GAIN_Y);

// 更新舵机PWM值,并加入限幅保护
servo_pwm_x = constrain(SERVO_CENTER_X + pwm_adjust_x, SERVO_MIN, SERVO_MAX);
servo_pwm_y = constrain(SERVO_CENTER_Y + pwm_adjust_y, SERVO_MIN, SERVO_MAX);

set_servo_pwm(SERVO_ID_PAN, servo_pwm_x);
set_servo_pwm(SERVO_ID_TILT, servo_pwm_y);

调试这个系统时,最好先用一个固定的色块或光源作为目标,验证通信和控制链路是否通畅。然后再接入真实的YOLO识别结果。你会发现,由于模型推理和通信的延迟,直接使用单帧的坐标偏差可能会导致云台抖动。这时就需要引入简单的滤波算法,比如对连续几帧的坐标进行移动平均滤波,或者设置一个“死区”,当偏差小于几个像素时不予响应,这样能让机器人的追踪动作看起来更平滑、更拟人。

整个项目调试下来,最耗时的部分往往不是代码本身,而是硬件联调与参数整定。例如,串口波特率不匹配、舵机中位点不准、云台机械结构存在回差、控制参数Kp过大导致振荡等等。耐心地记录现象、分析逻辑、调整参数,看着机器人从呆立不动到笨拙转动,再到最终能流畅地锁定跟随目标,这个过程带来的成就感,远非单纯调通一个软件模块可比。这大概就是嵌入式AI融合开发的魅力所在,软硬件在此刻真正成为了一个协同工作的智能生命体。

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐