2019年我接过一个售货机项目,用的是三菱FX1N-24MR PLC加上串口触摸屏,出货靠螺旋弹簧转圈。那时候所谓的“智能”就是支持微信扫码——用户扫完码,PLC收到指令,电机转一圈,东西掉下来。

2023年再回头看这个方案,发现已经完全跑不动了。用户要的是“开门—拿东西—关门—自动扣款”,没有按键、没有投币口、没有出货的撞击声。原来的PLC方案根本做不了视觉识别,触摸屏连个摄像头都接不上去。

于是2024年开了一个新项目:把一台老式弹簧机改造成AI视觉识别柜。

今天把这套系统从硬件选型到端侧AI部署的完整过程复盘一下,主要给做嵌入式或边缘计算的朋友做个参考。

一、硬件平台选型:为什么不用Jetson Nano

最开始团队想的是Jetson Nano。CUDA生态成熟,跑YOLO有现成的优化方案,社区文档多,上手快。但算完BOM成本就放弃了——Nano模组加底板,算上散热和电源,单套硬件成本差不多是国产方案的3倍。而且Jetson的供货不太稳定,项目周期没法等。

后来把目光转向了瑞芯微。

最终选了RK3588做高端机型、RK3568做量产机型的双平台方案。

RK3588的核心规格是八核64位处理器(4×A76 + 4×A55),内置6 TOPS独立NPU。6 TOPS这个算力,对于零售柜的识别场景来说,能在本地跑YOLOv11的推理,完全不需要把视频流往云端传。实测下来,白天自然光环境下单帧推理稳定在22-25FPS,夜间LED补光条件下略低一点,但依然满足实时追踪要求。

RK3568的NPU算力是1 TOPS,跑不了YOLOv11但能跑轻量化的MobileNetV3-SSD。我们把它用在格子柜、弹簧柜这类逻辑控制为主的机型上,识别任务比较简单——只要判断“柜门有没有关好”“弹簧有没有转到位”就够了。

接口方面,这两颗芯片最大的优势是多屏显示支持。零售柜经常需要接一个触控操作屏加一个广告副屏,RK3588支持三屏异显——主屏显示商品列表和购买界面,副屏播放广告视频或优惠活动信息。驱动部分,Linux下的MIPI-DSI和LVDS调试走了不少弯路,后面细说。

总结一下选型逻辑:

  • 预算充足、功能复杂的机型 → RK3588

  • 成本敏感、功能固定的机型 → RK3568

  • 不考虑NVIDIA Jetson系列 → 成本高、供货不稳定

  • 不考虑全志/Rockchip其他低端芯片 → NPU算力不足

二、操作系统:Android vs Linux 的取舍

系统选型上,团队内部争议最大的是用Android还是用Buildroot精简Linux。

Android的优势是支付SDK——微信支付、支付宝的SDK都是Android优先,集成快,示例代码多。但Android的坑在于系统臃肿,开机慢、内存占用高,而且OTA升级比较复杂。

Linux的优势是可裁剪——Buildroot编译出来的系统镜像只有200多MB,去掉用不上的服务,内存占用能控制在1GB以内。缺点是支付SDK需要自己封装HTTP接口,没有现成的库可以用。

最终我们在RK3588机型上跑Android 11,在RK3568机型上跑Buildroot Linux。一个项目维护两套系统固件,确实增加了工作量,但换来了硬件成本的最优解——RK3568机型不需要大内存和高存储,整体BOM降了不少。

这里有一个值得单独讲的细节:Android 11下的多屏异显。

零售柜需要一块主屏做交互、一块副屏播放广告,RK3588的显示控制器理论支持三屏独立输出。但在Android层实现“主屏触摸 + 副屏视频播放”并不简单。我们用到了Android的Presentation类来做副屏渲染,同时通过SurfaceControl给两个屏幕分配独立的显示图层。

副屏广告播放用的是ExoPlayer,用MediaSession做播放控制。注意Presentation的生命周期和Activity绑定,如果主屏Activity重建,副屏要重新初始化。这块调试花了两周时间,中间踩过HDMI热插拔导致渲染线程崩溃的坑。

三、AI模型选型与端侧部署:从YOLOv5到YOLOv11的演进

最开始用的是YOLOv5s,在RK3588上跑NPU推理,速度大概15FPS,mAP@0.5约85%。当时觉得够用了,但实际上线后发现问题不小。

第一个问题是小物体检测差。一包口香糖、一盒安全套这种小尺寸商品,YOLOv5s经常漏检。用户拿了东西但系统没识别到,直接导致货损。

第二个问题是遮挡。用户的手挡住商品、两瓶水叠在一起、光线从侧面打过来产生阴影——这些情况下YOLOv5s的鲁棒性不够,误检率明显上升。

所以2025年初做了一次模型升级,换成YOLOv11n。

YOLOv11n在RK3588上的实测表现:NPU推理能跑到23FPS,mAP@0.5约89.7% ,模型体积不到45MB。小物体检测能力有了明显提升,白天自然光下识别准确率96%以上,夜间LED补光条件下大约91-93%。整体端到端识别率(含重力感应辅助校验)能稳定在98%以上。

说几个部署层面的细节:

NPU推理框架的选择。 瑞芯微官方提供的是RKNN-Toolkit2,支持PyTorch模型转RKNN格式。量化方式上,我们用INT8量化把FP32模型压缩到原来的1/4大小,推理速度提升约30%,精度损失控制在1.5%以内。注意INT8量化需要校准数据集,不能用默认量化参数,否则精度掉得很厉害。

多摄像头数据流处理。 零售柜通常需要2-3个摄像头覆盖不同区域。我们用的是V4L2框架,通过select()实现非阻塞I/O,同时读取多路摄像头帧。多路视频流在NPU上做推理时,如果同时跑3个YOLO实例,RK3588的算力会不够。解决方案是做一个帧缓存池,3个摄像头轮流推理——不是每帧都跑,而是每个摄像头每5帧跑一次检测,中间帧做光流追踪。这样NPU算力够用,追踪精度也不受影响。

四、通信协议栈:MQTT 和 4G 的工程落地

设备端和云端通信,我们选了MQTT over 4G CAT1。

4G CAT1模块用的是移远EC200系列,上行5Mbps、下行10Mbps,延迟50-100ms。全国4G覆盖没问题,设备丢到县城、乡镇也能连上。

MQTT Broker用的是EMQX,部署在阿里云。设备端用的是Eclipse Paho C客户端库。

重点说一下三个关键配置:

QoS等级。 控制类指令(远程开门、远程改价)用QoS 2——确保且只确保一次,丢失了会导致设备状态不一致。遥测数据(温度、库存、在线状态)用QoS 1——至少一次,允许少量重复,丢数据比重复更严重。

Keepalive和心跳策略。 默认Keepalive是60秒,但实际网络环境下运营商的NAT超时时间通常只有30-45秒。如果Keepalive设60秒,设备可能已经被NAT踢掉了但MQTT还没感知到。解决方案是把Keepalive设为30秒,同时在应用层加一个15秒的心跳包,双重保活。

遗嘱消息(Last Will)。 设备异常断线时,自动发布一条遗嘱消息到/device/{id}/status,内容为offline。这样后台能实时知道哪台设备掉线了,不需要等超时检测。

五、后台系统:SaaS 架构下的设备管理

云端后台做了一套多租户SaaS架构,用Go语言写的。

设备接入层用的是Gin框架 + WebSocket + MQTT客户端,同时支持两种连接方式——4G设备走MQTT,WiFi设备走WebSocket。

数据存储是MySQL + InfluxDB的组合。MySQL放设备元数据、商品信息、用户账号;InfluxDB放时序数据——温度、在线状态、库存变化曲线。为什么要用InfluxDB?因为要存半年的设备温度曲线,MySQL一张表几千万行查询就卡死了,InfluxDB按时间分片的存储引擎更适合这个场景。

前端管理面板是Vue3 + Element Plus。支持的功能包括:

  • 多设备远程管理(在线状态、温度、库存)

  • 远程改价、远程调温

  • 库存预警与补货清单导出

  • 订单明细与异常订单处理

  • 多角色权限管理

在后台这一层,部分方案已经开始引入销量预测和自动补货建议等功能,用历史数据训练简单模型,给运营商推送补货建议。虽然还在探索阶段,但方向已经很清晰了——后台系统正在从数据展示工具向决策辅助工具演进。

六、踩过的几个坑

串口通信丢包。 RK3588的UART和摄像头共用中断,高负载时UART数据会丢包,导致货道电机控制指令发出去没响应。解决方案是给串口通信线程绑CPU核心,避开摄像头驱动的中断CPU,实测丢包率从5%降到0.1%以下。

低温启动异常。 设备在北方冬天户外环境下,Android系统启动到一半就卡死了。排查发现是eMMC在低温下读写性能下降,system分区挂载超时。解决方案是在uboot阶段加了一个延迟,等eMMC稳定后再加载kernel。硬件层也做了改进——设备标配了加热模块,低温环境下自动预热。

4G信号弱地区的断线重连。 有些点位在地下室或偏远乡镇,4G信号不太好。MQTT断线后重连的退避策略改成了指数退避(2s→4s→8s→16s→32s→60s),避免频繁重连把信号资源占满。同时增加了本地缓存——断线期间的交易数据先存SQLite,重连后再补传到云端。

七、总结

这套系统从2024年初启动,到2025年中完成首批量产部署,前后开发周期约一年半。最终交付的技术方案大概是这样的:

  • 主控:RK3588(旗舰机型)+ RK3568(量产机型),Buildroot Linux / Android 11

  • AI识别:YOLOv11n + 重力感应双系统融合,端侧NPU推理,识别准确率98%以上

  • 网络:4G CAT1 + MQTT(EMQX Broker)

  • 后台:Go + Gin + MySQL + InfluxDB + Vue3

  • 硬件配套:万宝压缩机、R290制冷剂、40mm环戊烷发泡保温层、双层中空电加热玻璃

项目做完后的最大感受是:嵌入式AI的工程落地,80%的精力都在处理边界情况——低温、断网、遮挡、干扰、串口丢包、信号波动。模型精度反而是最好解决的问题。

本文基于真实项目经验整理,技术细节已脱敏。硬件和平台相关信息均来自公开渠道,仅供参考。

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐