ROS2标定板aruco apriltag

https://blog.csdn.net/wangmj_hdu/article/details/111233878

AprilTag标记跟踪 · OpenMV中文入门教程

https://blog.csdn.net/sinat_16643223/article/details/137357584

https://docs.opencv.org/3.4/d5/d1f/calib3d_solvePnP.html

安装

docker pull ubuntu:22.04

docker run -it --user root --gpus all \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/.X11-unix:/tmp/.X11-unix \
-e DISPLAY=unix$DISPLAY \
-e GDK_SCALE \
-e GDK_DPI_SCALE \
--network host \
--volume /home/zoujiu/data:/home/data \
--volume /home/zoujiu/Downloads:/home/Downloads \
--volume /home/zoujiu/Desktop/projects:/home/Desktop \
--shm-size '30G' --name "ros2humble"  ubuntu:22.04    /bin/bash

https://docs.ros.org/en/humble/Installation/Alternatives/Ubuntu-Development-Setup.html

https://docs.ros.org/en/humble/Installation/Alternatives/Ubuntu-Development-Setup.html

1 报错

No rospy, 使用rclpy

No cv_bridge https://index.ros.org/p/cv_bridge/

git clone https://github.com/ros-perception/vision_opencv.git -b humble
cd ..
colcon build --symlink-install
*colcon build --symlink-install --packages-select image_pipeline*

*# *https://index.ros.org/p/cv_bridge/

# ros2 run image_view image_view --ros-args --remap image:=/camera/rgb/image_raw --log-level debug

*# *https://github.com/ros-perception/image_pipeline.git

*# *https://index.ros.org/p/image_view/

# colcon build --symlink-install

colcon build --symlink-install --packages-select image_pipeline

配置

**apt-get** install python3-cv-bridge python3-rospy 

**pip** install sensor_msgs --extra-index-url https://rospypi.github.io/simple/

*# https://www.cnblogs.com/yunhgu/p/15785460.html*

2 标定要求的

鱼眼相机标定,对采集图片的要求,核心目标只有一个:让标定算法能稳定、准确地估计内参和畸变,最终重投影误差 ≤ 0.5 像素。下面我给你按「必满足」和「加分项」分清楚,方便你照着执行。


✅ 必须满足的硬性要求(少一个都可能标崩)

棋盘格本身必须合格

  • 格子数量:内角点(黑白交界点)行列数要写对,比如 (8, 6),你代码里的 CHECKERBOARD 必须和实际完全一致。

  • 棋盘格要平整:不能有弯曲、折痕、鼓包,尤其是鱼眼镜头边缘,轻微变形都会导致角点检测不准。

  • 格子尺寸:必须真实准确,比如每个格子 25mm,标定代码里的 SQUARE_SIZE 要和实际完全一致(否则外参全错,内参也会受影响)。

角点必须能稳定检测到

  • 每张图片里,棋盘格角点必须全部被检测到,不能缺角点,也不能只检测到部分。

  • 角点清晰锐利,没有模糊、反光、阴影,对比度要高。

  • 棋盘格不能被手、设备、人等遮挡,边缘的角点也必须完整可见。

覆盖足够多的镜头区域(最关键!)

鱼眼标定必须让棋盘格出现在:

  • 画面中心

  • 画面四角和边缘

  • 不同高度、不同倾斜角度

覆盖原则:

  • 至少 15~20 张图片,覆盖整个鱼眼视野(尤其是边缘区域)

  • 边缘区域必须有足够多的棋盘格,否则边缘畸变无法被正确估计

  • 不要只拍中心位置的几张,这样标出来的畸变参数基本是错的

角度和姿态要多样化

  • 棋盘格要多拍不同倾斜角度:上仰、下俯、左倾、右倾

  • 多拍不同距离:近景(格子占画面 1/3 以上)、中景、远景(格子在画面中占比适中)

  • 多拍不同旋转角度:棋盘格不要总是水平竖直,适当旋转 30°/45° 拍几组

避免这些致命场景

  • 强烈反光:棋盘格反光、玻璃反射、强光直射

  • 运动模糊:手持抖动导致的拖影

  • 严重过曝 / 欠曝:棋盘格黑白边界不清晰

  • 棋盘格离镜头过近 / 过远:角点太小或超出画面

  • 画面裁剪 / 畸变:拍摄过程中不要对图片做任何裁剪、拉伸、畸变矫正(标定用原始鱼眼原图)


💡 能让标定效果翻倍的加分项

图片数量与质量

  • 建议采集 30~50 张,比 10 张更稳(尤其是鱼眼,边缘畸变需要更多数据约束)

  • 所有图片分辨率必须一致,不能混不同分辨率的照片

  • 同一场景、同一棋盘格,多拍几张不同角度,避免单张异常数据影响整体结果

棋盘格摆放技巧

  • 让棋盘格出现在画面的四个角落各几次,边缘畸变估计会更准

  • 至少有 3~5 张图片里,棋盘格同时覆盖画面中心和边缘

  • 倾斜拍摄时,让棋盘格的一部分靠近镜头,另一部分远离,这样 Z 轴信息更丰富

环境条件

  • 光线均匀柔和,避免局部强光和大面积阴影

  • 相机固定,避免拍摄过程中相机晃动(如果是手持,尽量稳定)

  • 棋盘格背景尽量简单,避免复杂纹理干扰角点检测


📌 简单自检清单(按这个检查你的数据集)

  • 棋盘格内角点数量和代码里的 CHECKERBOARD 完全一致

  • 所有图片角点都能被 findChessboardCorners 完整检测

  • 棋盘格出现在画面中心、边缘、四角

  • 有不同倾斜、旋转、距离的图片

  • 没有反光、模糊、遮挡、过曝 / 欠曝

  • 图片数量 ≥ 15 张,推荐 30~50 张

  • 所有图片都是鱼眼原始图,没有裁剪 / 畸变矫正


如果你愿意,我可以帮你写一个批量角点检测脚本,一键检查你的所有标定图片是否合格,哪些图片角点检测失败,帮你快速筛掉不合格的照片,只保留能让标定一次成功的数据集。

ROS2发布视频帧

*#!/usr/bin/env python*
*#coding:utf-8*
import **os**
*# os.environ["PYTHONPATH"]="/opt/ros/humble/lib/python3.10/site-packages;/opt/ros/humble/local/lib/python3.10/dist-packages"*
import **rclpy**
import **sys**
**sys**.path.**append**('.')
import **cv2**
import **time**
from **rclpy**.**node** import **Node**
import **numpy** as **np**
from **sensor_msgs**.**msg** import **Image**
from cv_bridge import CvBridge, CvBridgeError

def **pubVideo**():
    **rclpy**.**init**()
    nod = **rclpy**.**create_node**("frame")
    pub = nod.**create_publisher**(**Image**, '/camera/rgb/image_raw', qos_profile=1)
    *# rate = nod.create_rate(5)*
    HZ = 5
    path = "/home/Desktop/ros2/002.mp4"
    cap = **cv2**.**VideoCapture**(path)
    scaling_factor = 0.5
    bridge = CvBridge()
    if not cap.**isOpened**():
        **sys**.stdout.**write**("vedio is not available !")
        return -1
    count = 0
    ret = True
    while ret:
        ret, frame = cap.**read**()
        if ret:
            count = count + 1
        else:
            **rclpy**.loginfo("Capturing image failed.")
        if count == 2:
            count = 0
            frame = **cv2**.**resize**(frame,None,fx=scaling_factor,fy=scaling_factor,interpolation=**cv2**.INTER_AREA)
            msg = bridge.cv2_to_imgmsg(frame, encoding="bgr8")
            pub.**publish**(msg)
            **print**('** publishing webcam_frame ***')        
        *# rate.sleep()*
        **time**.**sleep**(1 / HZ)
        kk = 0
    **rclpy**.**shutdown**()

if __name__ == '__main__':
    *# https://index.ros.org/p/cv_bridge/*
    *# ros2 run image_view image_view --ros-args --remap image:=/camera/rgb/image_raw --log-level debug*
    try:
        **pubVideo**()
    except **rclpy**.ROSInterruptException:
        pass

3 aruco自定义字典的作用含义

自定义 ArUco 字典 作用、含义、使用方法(超级通俗版)

我用最简单、最实用的方式给你讲清楚,你马上就能用在你的多相机标定代码里。


一、自定义 ArUco 字典 是什么?(含义)

ArUco 字典 = 一套二维码的编码规则

它决定了:

  • 二维码长什么样(6×6 / 7×7)

  • 一共有多少个不同的二维码(100个 / 1000个)

  • 哪些ID是合法的

  • 二维码之间差异多大(防止误识别)

自定义字典 = 你自己造一套专属二维码

别人用通用字典扫不出来,只有你能扫。


二、自定义字典 作用(为什么要用)

1. 防止别人的二维码干扰你的检测

工厂/车内环境如果有别人的二维码,通用字典会误识别。

自定义字典 = 只认你自己打印的码。

2. 二维码数量你自己定

OpenCV 自带字典最多 1000 个,你可以做 10000 个。

3. 二维码尺寸你自己定

6×6、7×7、8×8 随便选。

4. 适合多相机、多传感器标定系统

你现在做的车载多相机外参标定,必须用自定义字典,避免干扰。


三、自定义字典 怎么用?(3步万能流程)

第1步:创建字典(生成XML)

import **cv2**

*6x6 网格,一共 1000 个二维码*
dict = **cv2**.**aruco**.**extendDictionary**(nMarkers=1000, markerSize=6)
dict.maxCorrectionBits = 6

*保存成 XML 文件(和你 1000_6.xml 一样)*
fs = **cv2**.**FileStorage**("my_dict.xml", **cv2**.FILE_STORAGE_WRITE)
dict.**writeDictionary**(fs)
fs.**release**()

第2步:生成二维码图片(打印出来贴车上)

img = **cv2**.**aruco**.**generateImageMarker**(dict, id=0, sidePixels=400)
**cv2**.**imwrite**("marker0.png", img)

第3步:在你的相机标定代码里 加载自定义字典

fs = **cv2**.**FileStorage**("my_dict.xml", **cv2**.FILE_STORAGE_READ)
bytesList = fs.**getNode**("bytesList").**mat**()
ms = **int**(fs.**getNode**("markerSize").**real**())
mc = **int**(fs.**getNode**("maxCorrectionBits").**real**())
fs.**release**()
*加载你的 XML*
*重建字典*
aruco_dict = **cv2**.**aruco**.Dictionary_create(1,1)
aruco_dict.bytesList = bytesList
aruco_dict.markerSize = ms
aruco_dict.maxCorrectionBits = mc
*检测*
detector = **cv2**.**aruco**.**ArucoDetector**(aruco_dict, **cv2**.**aruco**.**DetectorParameters**())
corners, ids, _ = detector.**detectMarkers**(gray)

四、一句话总结(最重要)

自定义 ArUco 字典 = 你自己的专属二维码家族

作用:防干扰、更稳定、适合车载多相机标定

使用:生成XML → 打印二维码 → 代码加载XML


五、我可以直接帮你把 你的多相机标定代码 改成

支持自定义字典(从1000_6.xml加载)的最终完整版

4、自定义aruco字典

下面我给你一套完整、可直接运行的流程:

生成自定义 ArUco 字典 → 保存为 XML → 在你的多相机标定代码里加载这个 XML。

全程 Python + OpenCV4,和你现在的代码无缝对接。


一、核心概念(先搞懂)

一个 ArUco 字典由三个参数决定:

  1. markerSize:内部位矩阵大小,如 6 表示 6×6 位(不含边框)

  2. nMarkers:字典里有多少个标记(ID 0 ~ nMarkers-1)

  3. maxCorrectionBits:最多可纠正的错误位数(一般 = markerSize)

你之前的 1000_6.xml 就是:

  • markerSize = 6

  • nMarkers = 1000

  • maxCorrectionBits = 6


二、生成自定义字典并保存为 XML(直接运行)

import **cv2**
import **numpy** as **np**
*-------- 1. 自定义字典参数 --------*
nMarkers = 1000      *# 标记数量:ID 0~999*
markerSize = 6       *# 6×6 位*
maxCorrectionBits = 6
*-------- 2. 创建自定义字典 --------*
*方法:extendDictionary(OpenCV 官方推荐)*
custom_dict = **cv2**.**aruco**.**extendDictionary**(
    nMarkers=nMarkers,
    markerSize=markerSize
)
custom_dict.maxCorrectionBits = maxCorrectionBits
*-------- 3. 保存为 XML(和你 1000_6.xml 格式完全一致) --------*
xml_path = "custom_1000_6.xml"
fs = **cv2**.**FileStorage**(xml_path, **cv2**.FILE_STORAGE_WRITE)
custom_dict.**writeDictionary**(fs)
fs.**release**()
**print**(f"✅ 自定义字典已保存:{xml_path}")
**print**(f"   nMarkers={nMarkers}, markerSize={markerSize}")
运行后得到 `custom_1000_6.xml`,**和你原来的 1000_6.xml 结构完全一样**。

三、在你的多相机标定代码里加载自定义 XML

把你代码里“ArUco 字典”那一段替换成下面这段:

*========== 加载自定义 ArUco 字典(从 XML) ==========*
dictFile = "/home/zoujiu/Desktop/.../custom_1000_6.xml"  *# 你的路径*

cv_file = **cv2**.**FileStorage**(dictFile, **cv2**.FILE_STORAGE_READ)
bytesList = cv_file.**getNode**("bytesList").**mat**()
markerSize = **int**(cv_file.**getNode**("markerSize").**real**())
maxCorrectionBits = **int**(cv_file.**getNode**("maxCorrectionBits").**real**())
cv_file.**release**()

*重建字典*
aruco_dict = **cv2**.**aruco**.Dictionary_create(markerSize, nMarkers)
aruco_dict.bytesList = bytesList
aruco_dict.markerSize = markerSize
aruco_dict.maxCorrectionBits = maxCorrectionBits

detector = **cv2**.**aruco**.**ArucoDetector**(aruco_dict, **cv2**.**aruco**.**DetectorParameters**())
这样就**完全替代预定义字典**,用你自己的 `1000_6.xml` 了。

四、只生成指定 ID 的子集(常用)

如果你不想 1000 个,只要比如 0~9:

*从大字典里截取 ID 0~9*
sub_dict = **cv2**.**aruco**.custom_dictionary(10, 6)
for i in **range**(10):
    sub_dict.bytesList[i] = custom_dict.bytesList[i]

五、生成标记图片(用来打印)

size_px = 300  *# 图片像素*
for **id** in **range**(5):  *# 生成前 5 个*
    img = **cv2**.**aruco**.**generateImageMarker**(custom_dict, **id**, size_px)
    **cv2**.**imwrite**(f"marker_{**id**}.png", img)

六、总结(你要的一句话)

  • 自定义字典:用 cv2.aruco.extendDictionary() 生成

  • 保存 XML:dict.writeDictionary(fs)

  • 加载 XML:FileStorage 读 bytesList/markerSize

  • 替换你代码:直接把字典部分换成“从 XML 加载”


要不要我把完整的“生成XML+多相机标定”合并成一个最终版脚本

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐