ROS2标定板aruco apriltag
ROS2标定板aruco apriltag
https://blog.csdn.net/wangmj_hdu/article/details/111233878
https://blog.csdn.net/sinat_16643223/article/details/137357584
https://docs.opencv.org/3.4/d5/d1f/calib3d_solvePnP.html
安装
docker pull ubuntu:22.04
docker run -it --user root --gpus all \
-v /etc/localtime:/etc/localtime:ro \
-v /tmp/.X11-unix:/tmp/.X11-unix \
-e DISPLAY=unix$DISPLAY \
-e GDK_SCALE \
-e GDK_DPI_SCALE \
--network host \
--volume /home/zoujiu/data:/home/data \
--volume /home/zoujiu/Downloads:/home/Downloads \
--volume /home/zoujiu/Desktop/projects:/home/Desktop \
--shm-size '30G' --name "ros2humble" ubuntu:22.04 /bin/bash
https://docs.ros.org/en/humble/Installation/Alternatives/Ubuntu-Development-Setup.html
https://docs.ros.org/en/humble/Installation/Alternatives/Ubuntu-Development-Setup.html
1 报错
No rospy, 使用rclpy
No cv_bridge https://index.ros.org/p/cv_bridge/
git clone https://github.com/ros-perception/vision_opencv.git -b humble
cd ..
colcon build --symlink-install
*colcon build --symlink-install --packages-select image_pipeline*
*# *https://index.ros.org/p/cv_bridge/
# ros2 run image_view image_view --ros-args --remap image:=/camera/rgb/image_raw --log-level debug
*# *https://github.com/ros-perception/image_pipeline.git
*# *https://index.ros.org/p/image_view/
# colcon build --symlink-install
colcon build --symlink-install --packages-select image_pipeline
配置
**apt-get** install python3-cv-bridge python3-rospy
**pip** install sensor_msgs --extra-index-url https://rospypi.github.io/simple/
*# https://www.cnblogs.com/yunhgu/p/15785460.html*
2 标定要求的
鱼眼相机标定,对采集图片的要求,核心目标只有一个:让标定算法能稳定、准确地估计内参和畸变,最终重投影误差 ≤ 0.5 像素。下面我给你按「必满足」和「加分项」分清楚,方便你照着执行。
✅ 必须满足的硬性要求(少一个都可能标崩)
棋盘格本身必须合格
-
格子数量:内角点(黑白交界点)行列数要写对,比如
(8, 6),你代码里的CHECKERBOARD必须和实际完全一致。 -
棋盘格要平整:不能有弯曲、折痕、鼓包,尤其是鱼眼镜头边缘,轻微变形都会导致角点检测不准。
-
格子尺寸:必须真实准确,比如每个格子 25mm,标定代码里的
SQUARE_SIZE要和实际完全一致(否则外参全错,内参也会受影响)。
角点必须能稳定检测到
-
每张图片里,棋盘格角点必须全部被检测到,不能缺角点,也不能只检测到部分。
-
角点清晰锐利,没有模糊、反光、阴影,对比度要高。
-
棋盘格不能被手、设备、人等遮挡,边缘的角点也必须完整可见。
覆盖足够多的镜头区域(最关键!)
鱼眼标定必须让棋盘格出现在:
-
画面中心
-
画面四角和边缘
-
不同高度、不同倾斜角度
覆盖原则:
-
至少 15~20 张图片,覆盖整个鱼眼视野(尤其是边缘区域)
-
边缘区域必须有足够多的棋盘格,否则边缘畸变无法被正确估计
-
不要只拍中心位置的几张,这样标出来的畸变参数基本是错的
角度和姿态要多样化
-
棋盘格要多拍不同倾斜角度:上仰、下俯、左倾、右倾
-
多拍不同距离:近景(格子占画面 1/3 以上)、中景、远景(格子在画面中占比适中)
-
多拍不同旋转角度:棋盘格不要总是水平竖直,适当旋转 30°/45° 拍几组
避免这些致命场景
-
强烈反光:棋盘格反光、玻璃反射、强光直射
-
运动模糊:手持抖动导致的拖影
-
严重过曝 / 欠曝:棋盘格黑白边界不清晰
-
棋盘格离镜头过近 / 过远:角点太小或超出画面
-
画面裁剪 / 畸变:拍摄过程中不要对图片做任何裁剪、拉伸、畸变矫正(标定用原始鱼眼原图)
💡 能让标定效果翻倍的加分项
图片数量与质量
-
建议采集 30~50 张,比 10 张更稳(尤其是鱼眼,边缘畸变需要更多数据约束)
-
所有图片分辨率必须一致,不能混不同分辨率的照片
-
同一场景、同一棋盘格,多拍几张不同角度,避免单张异常数据影响整体结果
棋盘格摆放技巧
-
让棋盘格出现在画面的四个角落各几次,边缘畸变估计会更准
-
至少有 3~5 张图片里,棋盘格同时覆盖画面中心和边缘
-
倾斜拍摄时,让棋盘格的一部分靠近镜头,另一部分远离,这样 Z 轴信息更丰富
环境条件
-
光线均匀柔和,避免局部强光和大面积阴影
-
相机固定,避免拍摄过程中相机晃动(如果是手持,尽量稳定)
-
棋盘格背景尽量简单,避免复杂纹理干扰角点检测
📌 简单自检清单(按这个检查你的数据集)
-
棋盘格内角点数量和代码里的
CHECKERBOARD完全一致 -
所有图片角点都能被
findChessboardCorners完整检测 -
棋盘格出现在画面中心、边缘、四角
-
有不同倾斜、旋转、距离的图片
-
没有反光、模糊、遮挡、过曝 / 欠曝
-
图片数量 ≥ 15 张,推荐 30~50 张
-
所有图片都是鱼眼原始图,没有裁剪 / 畸变矫正
如果你愿意,我可以帮你写一个批量角点检测脚本,一键检查你的所有标定图片是否合格,哪些图片角点检测失败,帮你快速筛掉不合格的照片,只保留能让标定一次成功的数据集。
ROS2发布视频帧
*#!/usr/bin/env python*
*#coding:utf-8*
import **os**
*# os.environ["PYTHONPATH"]="/opt/ros/humble/lib/python3.10/site-packages;/opt/ros/humble/local/lib/python3.10/dist-packages"*
import **rclpy**
import **sys**
**sys**.path.**append**('.')
import **cv2**
import **time**
from **rclpy**.**node** import **Node**
import **numpy** as **np**
from **sensor_msgs**.**msg** import **Image**
from cv_bridge import CvBridge, CvBridgeError
def **pubVideo**():
**rclpy**.**init**()
nod = **rclpy**.**create_node**("frame")
pub = nod.**create_publisher**(**Image**, '/camera/rgb/image_raw', qos_profile=1)
*# rate = nod.create_rate(5)*
HZ = 5
path = "/home/Desktop/ros2/002.mp4"
cap = **cv2**.**VideoCapture**(path)
scaling_factor = 0.5
bridge = CvBridge()
if not cap.**isOpened**():
**sys**.stdout.**write**("vedio is not available !")
return -1
count = 0
ret = True
while ret:
ret, frame = cap.**read**()
if ret:
count = count + 1
else:
**rclpy**.loginfo("Capturing image failed.")
if count == 2:
count = 0
frame = **cv2**.**resize**(frame,None,fx=scaling_factor,fy=scaling_factor,interpolation=**cv2**.INTER_AREA)
msg = bridge.cv2_to_imgmsg(frame, encoding="bgr8")
pub.**publish**(msg)
**print**('** publishing webcam_frame ***')
*# rate.sleep()*
**time**.**sleep**(1 / HZ)
kk = 0
**rclpy**.**shutdown**()
if __name__ == '__main__':
*# https://index.ros.org/p/cv_bridge/*
*# ros2 run image_view image_view --ros-args --remap image:=/camera/rgb/image_raw --log-level debug*
try:
**pubVideo**()
except **rclpy**.ROSInterruptException:
pass
3 aruco自定义字典的作用含义
自定义 ArUco 字典 作用、含义、使用方法(超级通俗版)
我用最简单、最实用的方式给你讲清楚,你马上就能用在你的多相机标定代码里。
一、自定义 ArUco 字典 是什么?(含义)
ArUco 字典 = 一套二维码的编码规则
它决定了:
-
二维码长什么样(6×6 / 7×7)
-
一共有多少个不同的二维码(100个 / 1000个)
-
哪些ID是合法的
-
二维码之间差异多大(防止误识别)
自定义字典 = 你自己造一套专属二维码
别人用通用字典扫不出来,只有你能扫。
二、自定义字典 作用(为什么要用)
1. 防止别人的二维码干扰你的检测
工厂/车内环境如果有别人的二维码,通用字典会误识别。
自定义字典 = 只认你自己打印的码。
2. 二维码数量你自己定
OpenCV 自带字典最多 1000 个,你可以做 10000 个。
3. 二维码尺寸你自己定
6×6、7×7、8×8 随便选。
4. 适合多相机、多传感器标定系统
你现在做的车载多相机外参标定,必须用自定义字典,避免干扰。
三、自定义字典 怎么用?(3步万能流程)
第1步:创建字典(生成XML)
import **cv2**
*6x6 网格,一共 1000 个二维码*
dict = **cv2**.**aruco**.**extendDictionary**(nMarkers=1000, markerSize=6)
dict.maxCorrectionBits = 6
*保存成 XML 文件(和你 1000_6.xml 一样)*
fs = **cv2**.**FileStorage**("my_dict.xml", **cv2**.FILE_STORAGE_WRITE)
dict.**writeDictionary**(fs)
fs.**release**()
第2步:生成二维码图片(打印出来贴车上)
img = **cv2**.**aruco**.**generateImageMarker**(dict, id=0, sidePixels=400)
**cv2**.**imwrite**("marker0.png", img)
第3步:在你的相机标定代码里 加载自定义字典
fs = **cv2**.**FileStorage**("my_dict.xml", **cv2**.FILE_STORAGE_READ)
bytesList = fs.**getNode**("bytesList").**mat**()
ms = **int**(fs.**getNode**("markerSize").**real**())
mc = **int**(fs.**getNode**("maxCorrectionBits").**real**())
fs.**release**()
*加载你的 XML*
*重建字典*
aruco_dict = **cv2**.**aruco**.Dictionary_create(1,1)
aruco_dict.bytesList = bytesList
aruco_dict.markerSize = ms
aruco_dict.maxCorrectionBits = mc
*检测*
detector = **cv2**.**aruco**.**ArucoDetector**(aruco_dict, **cv2**.**aruco**.**DetectorParameters**())
corners, ids, _ = detector.**detectMarkers**(gray)
四、一句话总结(最重要)
自定义 ArUco 字典 = 你自己的专属二维码家族
作用:防干扰、更稳定、适合车载多相机标定
使用:生成XML → 打印二维码 → 代码加载XML
五、我可以直接帮你把 你的多相机标定代码 改成
支持自定义字典(从1000_6.xml加载)的最终完整版
4、自定义aruco字典
下面我给你一套完整、可直接运行的流程:
生成自定义 ArUco 字典 → 保存为 XML → 在你的多相机标定代码里加载这个 XML。
全程 Python + OpenCV4,和你现在的代码无缝对接。
一、核心概念(先搞懂)
一个 ArUco 字典由三个参数决定:
-
markerSize:内部位矩阵大小,如 6 表示 6×6 位(不含边框)
-
nMarkers:字典里有多少个标记(ID 0 ~ nMarkers-1)
-
maxCorrectionBits:最多可纠正的错误位数(一般 = markerSize)
你之前的 1000_6.xml 就是:
-
markerSize = 6
-
nMarkers = 1000
-
maxCorrectionBits = 6
二、生成自定义字典并保存为 XML(直接运行)
import **cv2**
import **numpy** as **np**
*-------- 1. 自定义字典参数 --------*
nMarkers = 1000 *# 标记数量:ID 0~999*
markerSize = 6 *# 6×6 位*
maxCorrectionBits = 6
*-------- 2. 创建自定义字典 --------*
*方法:extendDictionary(OpenCV 官方推荐)*
custom_dict = **cv2**.**aruco**.**extendDictionary**(
nMarkers=nMarkers,
markerSize=markerSize
)
custom_dict.maxCorrectionBits = maxCorrectionBits
*-------- 3. 保存为 XML(和你 1000_6.xml 格式完全一致) --------*
xml_path = "custom_1000_6.xml"
fs = **cv2**.**FileStorage**(xml_path, **cv2**.FILE_STORAGE_WRITE)
custom_dict.**writeDictionary**(fs)
fs.**release**()
**print**(f"✅ 自定义字典已保存:{xml_path}")
**print**(f" nMarkers={nMarkers}, markerSize={markerSize}")
运行后得到 `custom_1000_6.xml`,**和你原来的 1000_6.xml 结构完全一样**。
三、在你的多相机标定代码里加载自定义 XML
把你代码里“ArUco 字典”那一段替换成下面这段:
*========== 加载自定义 ArUco 字典(从 XML) ==========*
dictFile = "/home/zoujiu/Desktop/.../custom_1000_6.xml" *# 你的路径*
cv_file = **cv2**.**FileStorage**(dictFile, **cv2**.FILE_STORAGE_READ)
bytesList = cv_file.**getNode**("bytesList").**mat**()
markerSize = **int**(cv_file.**getNode**("markerSize").**real**())
maxCorrectionBits = **int**(cv_file.**getNode**("maxCorrectionBits").**real**())
cv_file.**release**()
*重建字典*
aruco_dict = **cv2**.**aruco**.Dictionary_create(markerSize, nMarkers)
aruco_dict.bytesList = bytesList
aruco_dict.markerSize = markerSize
aruco_dict.maxCorrectionBits = maxCorrectionBits
detector = **cv2**.**aruco**.**ArucoDetector**(aruco_dict, **cv2**.**aruco**.**DetectorParameters**())
这样就**完全替代预定义字典**,用你自己的 `1000_6.xml` 了。
四、只生成指定 ID 的子集(常用)
如果你不想 1000 个,只要比如 0~9:
*从大字典里截取 ID 0~9*
sub_dict = **cv2**.**aruco**.custom_dictionary(10, 6)
for i in **range**(10):
sub_dict.bytesList[i] = custom_dict.bytesList[i]
五、生成标记图片(用来打印)
size_px = 300 *# 图片像素*
for **id** in **range**(5): *# 生成前 5 个*
img = **cv2**.**aruco**.**generateImageMarker**(custom_dict, **id**, size_px)
**cv2**.**imwrite**(f"marker_{**id**}.png", img)
六、总结(你要的一句话)
-
自定义字典:用
cv2.aruco.extendDictionary()生成 -
保存 XML:
dict.writeDictionary(fs) -
加载 XML:
FileStorage读bytesList/markerSize -
替换你代码:直接把字典部分换成“从 XML 加载”
要不要我把完整的“生成XML+多相机标定”合并成一个最终版脚本
更多推荐
所有评论(0)