基于YOLOv8的智能结算系统:从数据标注到模型部署全流程
简介:基于YOLOv8的智能结算系统,是一套面向超市自助结算场景的深度学习项目源码,适合毕业设计、课程实践以及目标检测方向的研究者学习。针对传统条码扫描结账效率低、高峰期排队严重等痛点,系统利用YOLOv8目标检测模型,可在约1秒内同时识别4至6件商品,并支持分批识别,完全无需条形码,从而大幅提升结算速度、降低超市运营成本。资源包共包含770个文件,整体大小约64.79MB,其中以278张jpg图像样本、264个txt标注文件、190个json配置以及11个Python源码文件为主,并附有onnx/pt模型权重、yaml训练配置和sh运行脚本,可覆盖数据准备、模型训练、验证和部署全流程。配套的详细文档从数据集构建、参数说明到推理测试均有清晰阐述,交易记录与验证结果文件可辅助复盘实验效果,帮助读者快速复现并迁移到自己的商品识别的项目中。目前已有74人关注学习,内容完整度较高,适合希望掌握YOLOv8实际落地应用的开发者参考。
1. 为什么智能结算系统要选YOLOv8做视觉识别
自助结算台、无人便利店这类场景里,最让运营方头疼的往往是扫码结算的漏扫问题——用户把两件同款商品叠在一起,或者商品条码磨损、贴袋内,扫码枪就会出错。基于摄像头的视觉结算系统,核心思想是让系统“看见”商品,而不是等用户去扫。它需要实时检测画面里出现了哪些商品、数量是多少,再映射到价格库自动生成订单。YOLOv8是目前这类项目里平衡速度与精度的实际选择:它一次前向传播直接输出目标类别和边界框,在GTX 1660Ti这类消费级显卡上跑640分辨率能到30~60 FPS,足以应对结算台的实时性要求,同时公开的预训练模型和统一训练接口让从零开始的项目不需要重复造轮子。
这个标题里“智能结算系统”不是某个官方系统的名称,而是指你将要动手去搭的一套完整小工程:数据准备、模型训练、推理接口、计价与前端展示。源码和文档说明只是交付形态,真正有价值的是整条链路如何连通。本文按一个可落地的方案讲:先用YOLOv8训练商品检测模型,再把它封装成HTTP推理服务,最后接进结算流程。适合正在做课程设计、毕设或想转行做视觉应用开发的工程师,也适合想了解“检测模型如何被真实业务调用”的读者。
2. 用YOLOv8训练商品检测模型:数据标注、数据集划分与训练参数
2.1 商品数据不是公开数据集,要自己建目录结构
YOLOv8对数据集格式要求很明确:一张标注好的图片,配一个同名的文本文件,每行是一个目标,格式为 class_id x_center y_center width height ,这些坐标是相对于图片宽高的比例值。智能结算的商品种类通常很垂直——比如只卖饮料、零食、日用品,每类商品需要采集不同光线、不同拍摄角度、不同摆放姿态的样本,最少每类300~500张才能有基本可用效果。
常见的标注工作流是:用手机或工业相机拍摄商品,放到LableImg或CVAT里画框,输出为YOLO格式。目录结构建议如下:
datasets/
goods/
images/
train/
val/
labels/
train/
val/
data.yaml
data.yaml 是训练入口,内容包含路径和类别名称:
path: D:/projects/smart_settle/datasets/goods
train: images/train
val: images/val
nc: 8
names: ['coca_cola', 'sprite', 'noodle', 'candy', 'snack', 'coffee', 'water', 'ice_cream']
2.2 用脚本做数据集划分,避免重复造轮子
录制的原始图片往往没有标注,或者标注文件和图片不在同一目录,这时需要自己写一个划分脚本。下面是我经常放在 prepare_data.py 里的逻辑:
import os
import random
import shutil
from sklearn.model_selection import train_test_split
image_dir = 'raw_images'
label_dir = 'raw_labels'
train_image_dir = 'datasets/goods/images/train'
val_image_dir = 'datasets/goods/images/val'
train_label_dir = 'datasets/goods/labels/train'
val_label_dir = 'datasets/goods/labels/val'
images = [f for f in os.listdir(image_dir) if f.endswith('.jpg')]
train_imgs, val_imgs = train_test_split(images, test_size=0.2, random_state=42)
for split_img_list, target_img_dir, target_label_dir in [
(train_imgs, train_image_dir, train_label_dir),
(val_imgs, val_image_dir, val_label_dir)
]:
for img in split_img_list:
# 图片文件名与标签文件名保持同名,仅后缀不同
label = img.replace('.jpg', '.txt')
src_img = os.path.join(image_dir, img)
src_label = os.path.join(label_dir, label)
if not os.path.exists(src_label):
continue
shutil.copy(src_img, target_img_dir)
shutil.copy(src_label, target_label_dir)
这个脚本做了三件事:按8:2切分数据集、跳过没有标签的文件、复制到目标目录而不是移动,避免误操作损坏原始数据。要注意的是 train_test_split 的随机种子固定为42,否则每次运行划分结果不同,训练出的模型无法对同一测试集横向比较。另外,如果你的原始数据里某些类只有几十张,建议改成按类别分层抽样,否则很容易出现验证集里某个类别一个样本都没有。
2.3 训练命令与核心参数对照
YOLOv8本身没有独立的“商品检测”模式,训练时直接用目标检测循环即可。最基础的命令是:
yolo detect train \
data=datasets/goods/data.yaml \
model=yolov8n.yaml \
pretrained=yolov8n.pt \
epochs=100 \
imgsz=640 \
batch=16 \
device=0 \
optimizer=SGD \
lr0=0.01
参数含义如下表:
| 参数 | 作用 | 实际建议 |
|---|---|---|
model | 定义的模型结构文件 | 从 yolov8n.yaml 到 yolov8x.yaml ,按设备显存选 |
pretrained | 预训练权重路径 | 建议用COCO预训练权重,收敛快很多 |
epochs | 迭代轮数 | 小数据集50~100轮足够,过多会过拟合 |
imgsz | 训练输入尺寸 | 640合理,1920虽能提升小目标精度但显存和时间翻倍 |
batch | 单次输入图片数 | 6GB显存以下别超过8,否则OOM |
optimizer | 优化器 | SGD稳,AdamW收敛快但可能到达略差的极值 |
device | 训练设备 | CPU训练非常慢,哪怕租卡也建议用GPU |
训练过程中重点看两个指标:盒损失下降曲线和验证集mAP。如果训练到30轮时mAP50已经到0.95,但mAP50-95只有0.6左右,说明你的标注框质量有波动,需要回去修框,而不是加训练轮数。如果验证集 loss 从某轮开始反弹,说明过拟合已经开始,需要启用 mosaic=0.5 或增加 dropout 。
2.4 训练结果中哪些文件直接用于结算
训练结束后, runs/detect/train 目录下会产生 weights/best.pt 和 last.pt 。 best.pt 是验证集表现最好的权重,后续推理就用它。另外 confusion_matrix.png 和 results.png 要非看不可:混淆矩阵能告诉你哪些商品互相误检——比如可乐和零度可乐外观几乎一样,这时要考虑是不是把两种商品合并成一个类别,而不是盲目调模型。
3. 把YOLOv8模型封装成结算系统的推理服务
3.1 先用最小代码验证模型输出格式
在写服务前,先在本地跑一次推理,确保刚训练的权重能正确处理商品图片。常见的做法是直接用 ultralytics 库的API:
from ultralytics import YOLO
model = YOLO('runs/detect/train/weights/best.pt')
results = model.predict(
source='test_img.jpg',
conf=0.35,
iou=0.5,
imgsz=640,
verbose=False
)
boxes = results[0].boxes
for box in boxes:
cls_id = int(box.cls[0])
conf = float(box.conf[0])
xyxy = [round(float(v), 2) for v in box.xyxy[0]]
print(f'商品类别id:{cls_id} 置信度:{conf:.2f} 位置:{xyxy}')
这里的 conf 是置信度阈值,低于该值的检测结果会被过滤掉。 iou 是NMS的IoU阈值,控制重叠框的合并策略。商品检测场景下,如果同一个商品被多个框框住,降低 iou 到0.4可以更激进地剔除重复框;如果相邻商品有遮挡,需要调高到0.7左右防止漏检。刚开始不确定时,先保持默认值0.5,等模型跑通再按实拍效果调整。
3.2 用FastAPI封装成HTTP服务,让前端和PLC都能调用
结算系统不一定所有模块都用Python,常见的做法是用Java或C++写业务层,Python只负责图像识别。这时把推理封装成REST API是最稳的隔离方案。以下是FastAPI实现的推理服务骨架:
from fastapi import FastAPI, UploadFile, File
import numpy as np
import cv2
from ultralytics import YOLO
from pydantic import BaseModel
app = FastAPI()
model = YOLO('runs/detect/train/weights/best.pt')
class DetectResponse(BaseModel):
goods_list: list
total_count: int
@app.post('/detect', response_model=DetectResponse)
async def detect_image(file: UploadFile = File(...)):
# 读取上传的图片
image_bytes = await file.read()
nparr = np.frombuffer(image_bytes, np.uint8)
img = cv2.imdecode(nparr, cv2.IMREAD_COLOR)
results = model.predict(source=img, conf=0.35, iou=0.5, imgsz=640, verbose=False)
goods = []
for box in results[0].boxes:
cls_id = int(box.cls[0])
conf = float(box.conf[0])
goods.append({
'class_id': cls_id,
'confidence': conf,
'bbox': box.xyxy[0].cpu().numpy().tolist()
})
return DetectResponse(goods_list=goods, total_count=len(goods))
if __name__ == '__main__':
import uvicorn
uvicorn.run(app, host='0.0.0.0', port=8000)
这个接口接收一个图片文件,返回商品列表和数量。要注意的是 UploadFile 直接读字节流,大尺寸图片要先用 cv2.imdecode 解码,不能直接把 file.file 传给 model.predict ,否则会被当成文件路径去解析。服务跑起来后,用 curl 做一次联调用:
curl -X POST http://127.0.0.1:8000/detect \
-F "file=@test_img.jpg"
如果返回的 goods_list 里类别ID、置信度、框坐标都对,说明推理链路通了。接着后端应用只需要按 class_id 去价格表查询单价,乘上商品数量就能算总价。
3.3 显存释放与并发控制的细节
FastAPI默认是多线程异步处理请求,但YOLO模型推理是CPU密集型的,多线程同时调用同一个 model.predict 会导致GPU显存竞争。常见做法是在服务启动时只加载一次模型,再用一个线程锁或进程池保护推理段。另一个问题是显存碎片,长时间运行后显存占用会缓慢增长,建议定时调用 torch.cuda.empty_cache() ,但别忘了它只是释放缓存,不能替代真正的资源管理。
性能方面,如果需要支撑多路摄像头,常见做法是把模型导出成ONNX格式,用 onnxruntime 或TensorRT做推理,替换掉PyTorch推理。但这不是一上来就要做的事,先用PyTorch把系统跑通,等并发压力体现出来再优化导出。
4. 智能结算系统全流程:从摄像头到账单的工程实现
4.1 系统架构与数据流
一个可演示的智能结算系统大致分四层:图像采集层、检测识别层、业务计价层、交互展示层。摄像头或本地图片进入检测服务,输出 class_id 和 bbox ,业务层根据商品表计算金额,再把订单写入数据库,同时推送到交互界面显示。实际部署时建议把模型服务和业务服务拆开部署,因为GPU机器通常和收银终端不在同一台设备,HTTP通信是最低耦合的方式。
图像采集层要注意摄像头选型。一般300万像素以上的USB摄像头就能满足结算台需求,但必须保证画面背景干净、商品摆放区固定。不要用广角头,畸变会让靠近边缘的商品框偏小,导致后续面积过滤逻辑失效。如果项目只在本地演示,也可以直接让用户上传图片,把采集层简化为一个静态接口。
4.2 业务计价模块与库存扣减的模拟实现
在检测结果返回后,结算系统需要维护一张商品价格表。这里用SQLite做个简单的完整演示:
CREATE TABLE goods_price (
id INTEGER PRIMARY KEY AUTOINCREMENT,
class_id INTEGER NOT NULL,
name TEXT NOT NULL,
price REAL NOT NULL,
stock INTEGER DEFAULT 0
);
CREATE TABLE orders (
id INTEGER PRIMARY KEY AUTOINCREMENT,
total_amount REAL NOT NULL,
detail TEXT NOT NULL,
create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
goods_price 表里的 class_id 必须与YOLO模型训练时的 nc 顺序完全一致,否则会出现识别出“可乐”但计价成“矿泉水”的问题。这个映射关系建议单独做一个配置文件,训练时导出一份,部署时校验一致性。
计价流程的伪代码如下:
def settle_orders(detect_response):
# detect_response: {'goods_list': [{'class_id': 2, 'confidence': 0.95}, ...]}
detail = {}
for item in detect_response['goods_list']:
cid = item['class_id']
detail[cid] = detail.get(cid, 0) + 1
# 查商品表计算总额
total = 0.0
for cid, count in detail.items():
price = get_price_by_class_id(cid)
total += price * count
# 生成订单
save_order(detail, total)
return total
这里没有考虑重复检测同一个商品的情况。因为摄像头拍摄时一个商品可能被检测到多次,但后续帧又会消失。实际系统里需要引入目标跟踪(ByteTrack或最简单的IoU匹配)来确定唯一ID,然后计数时只统计每个ID第一次出现的类别。如果只是做一个结算台拍照结算的模式,一次拍照只检测一帧,就不存在跨帧重复问题,上述代码已经够用。
4.3 结算界面的最小实现思路
界面层可以选择Web前端,也可以用PyQt做个桌面小程序。用Web的好处是手机和Pad都能访问,而PyQt的优势是不需要单独部署前端服务器。如果是展示项目,我一般用Flask渲染一个简单的HTML页面,请求时直接把图片POST到 /detect ,拿到结果后在页面上显示商品列表和总价。这样整体链路最短,代码量也少。
页面至少要展示三个信息:原始图片、检测框叠加图(可以把 results[0].plot() 生成的画框图转成base64返回)、最终价格。不要花太多时间在美化上,先把数据流打通,后续再套现成的UI模板库。
4.4 常见问题:商品数量统计错误怎么排查
数量统计错误排在结算系统故障第一位。原因通常有三类:一类是检测模型在同一商品上输出多个重叠框,NMS没有合并干净;另一类是相邻商品被误检为一个框;还有一类是商品部分被手遮挡,置信度不够导致漏检。
排查步骤可以这样走:第一步,将摄像头拍摄的同一组商品分别用 imgsz=640 和 imgsz=1280 跑一遍,如果高分辨率下数量明显变准,说明小商品在640下特征不足,需要调整训练尺寸或者更换更宽的网络(从 yolov8n 换成 yolov8s )。第二步,把 conf 从0.5调低到0.25,看是漏检变少了,还是误检变多了。第三步,检查标注框是否贴得太紧,商品标签背景相似度高,导致模型学到的特征是整个摆放区域而不是单个商品。这三步走完,大部分数量错误都能定位到具体环节。
5. 提升识别准确率的三个实用技巧与部署避坑
5.1 用类别权重解决商品样本不平衡
结算场景里通常有爆款商品和冷门商品,冷门商品只有几十张标注,训练时很容易被模型忽略。最简单的方法是计算每个类别的样本数,按反比放大损失权重:
# data.yaml 增加 cls_weights 项
cls_weights: [1.0, 0.8, 2.5, 1.2, 5.0, 1.5, 1.0, 3.0]
cls_weights 列表顺序与 names 一致,样本少的类别权重调大。但权重过大会导致模型对少样本类别过拟合,一般不建议超过最大类别样本数的倒数乘10。训练时观察少样本类别的召回率变化,如果连续10轮没有提升,大概率是有效样本太少,需要去补充拍摄,而不是单纯调权重。
5.2 用尺寸和位置过滤掉结算台背景误检
实际部署时,结算台边缘、价格牌、用户手部都可能被误检成商品。常见做法是在检测后加一个“合理检测区域”过滤:设定商品摆放区的像素范围,检测框中心点落在区域外的直接丢弃。还有一个更隐蔽的技巧——固定摄像头视角后,每个商品的真实尺寸范围是可以预先统计的。比如一瓶可乐在640分辨率下高度大约占40到60像素,超过该范围的检测结果直接视为背景干扰:
def filter_by_size(box, min_area, max_area):
x1, y1, x2, y2 = box
area = (x2 - x1) * (y2 - y1)
return min_area <= area <= max_area
min_area 和 max_area 建议在实测中收集200个真实框后,取5%和95%分位数。这样过滤虽然会漏掉极端角度的商品,但能显著降低误报率,结算系统宁可不识别,也不该多识别。
5.3 部署阶段的三个避坑点与验证方式
不要直接把训练用的 best.pt 部署到生产环境。先在验证集上重新评估一次,确认mAP没有异常,再复制到部署机器。原因是你可能记错了训练参数,或者 best.pt 其实是某次中断后保存的中间结果。评估命令如下:
yolo detect val \
data=datasets/goods/data.yaml \
model=runs/detect/train/weights/best.pt \
batch=8
注意输出里的 mAP50-95 是否与训练结束时一致,如果不一致,检查是否有标注文件丢失或目录路径错误。
第二个坑是摄像头画面与训练图片来源不一致。训练时用手机拍摄,部署时换成工业相机,色彩空间、焦距、亮度分布全变了,模型效果会明显下降。解决思路是在系统上线前,用真实的摄像头重新录一批商品图片,补充到训练集里再做一次微调。这个操作代价不高,但常常被忽略。
第三个坑是并发请求下的服务稳定性。用Apache Bench或 wrk -t4 -c50 -d30s http://127.0.0.1:8000/detect 压测时,如果响应时间随请求数线性上涨,优先检查是否每个请求都在重新加载模型权重。正确的做法是在 lifespan 事件里只加载一次模型。压测通过后,再回到真实结算台场景里做端到端验证:放10件商品,连续结算20次,统计数量识别正确率是否达到95%以上。低于这个值,不要急着交付,回到数据侧补充困难样本,往往比继续调参数更有效。
更多推荐
所有评论(0)