1. 项目概述为什么双目相机标定是三维视觉的基石在三维视觉和机器人感知领域双目相机系统因其被动、非接触、能直接获取深度信息的特性成为了从自动驾驶到工业检测的“眼睛”。但很多人拿到一对相机装上支架拍几张照片就开始跑算法结果发现重建的点云歪歪扭扭测距误差大得离谱。问题往往就出在最基础也最关键的环节——双目相机标定。这不仅仅是跑一个OpenCV函数那么简单它是一套完整的理论体系决定了你后续所有三维数据的精度上限。简单来说双目相机标定要解决两个核心问题每个相机自身的成像畸变内参标定以及两个相机之间的空间位置关系外参标定。内参告诉你世界中的一个点是如何投影到相机图像平面上的外参则告诉你右相机看到的同一个点在左相机的坐标系里到底在哪里。只有精确知道了这两组参数我们才能将两幅二维图像上的像素点进行精准匹配并通过三角测量原理计算出其三维坐标。这个过程就是双目视觉从2D到3D的“翻译”过程。我见过太多项目卡在标定这一步。有人用打印的棋盘格随便拍几张标定结果飘忽不定有人忽略了镜头的径向和切向畸变导致图像边缘的匹配完全失效更常见的是不理解标定结果旋转矩阵R和平移向量T的物理意义在后续手眼标定或坐标系转换时一头雾水。因此这篇总结将从理论根源出发结合我踩过的坑和实战经验帮你彻底理清双目相机标定的脉络让你不仅能“做对”更能“做好”。2. 核心理论框架从针孔模型到立体校正2.1 相机成像的数学模型内参的由来一切始于最经典的针孔相机模型。这个模型假设光线通过一个无限小的孔光学中心在成像平面上形成倒立的像。为了数学处理的方便我们通常使用等效的正立像模型。在这个模型下一个三维世界点[X, Y, Z]在相机坐标系下投影到图像像素点[u, v]的过程可以用一个矩阵乘法来描述s * [u, v, 1]^T K * [X, Y, Z]^T这里的s是一个非零的尺度因子而矩阵K就是相机的内参矩阵它包含了相机的核心物理特性K [ fx, 0, cx; 0, fy, cy; 0, 0, 1 ]fx,fy 分别是x轴和y轴方向的焦距单位是像素。它们由相机的物理焦距和图像传感器的像元尺寸共同决定。fx和fy不相等说明像素不是正方形的这在许多工业相机中很常见。cx,cy 是主点坐标即光轴与图像平面的交点理论上位于图像中心但实际会因组装偏差而有微小偏移。注意 很多人误以为内参就是焦距和主点。实际上完整的标定还必须估计畸变系数。镜头并非理想的针孔尤其是广角镜头会产生严重的径向畸变图像边缘的直线变弯和切向畸变由于镜头与传感器不平行导致。OpenCV常用的畸变模型包含5个参数[k1, k2, p1, p2, k3]。前三个k1, k2, k3用于校正径向畸变后两个p1, p2用于校正切向畸变。不校正畸变你的图像坐标映射就是错误的后续的立体匹配和三维重建精度无从谈起。2.2 双目系统的几何关系外参的本质当我们有两个相机左目和右目时它们观察同一个三维点P。假设我们以左目相机坐标系为世界坐标系那么点P在左目坐标系下的坐标为P_l在右目坐标系下的坐标为P_r。这两个坐标通过一个刚体变换相关联P_r R * P_l T这里的R是一个3x3的旋转矩阵T是一个3x1的平移向量。[R | T]合起来就是双目系统的外参它精确描述了右相机相对于左相机的位姿。平移向量T的物理意义极其重要它的模长||T||就是两个相机光心之间的距离即基线距离Baseline。基线是双目系统测距能力的决定性因素之一。基线越长对同一距离的物体产生的视差越大距离测量越敏感、越精确尤其是在远距离但基线过长会导致两个相机视野重叠区域变小不利于近距离物体的观测。因此在实际搭建双目系统时需要根据观测距离范围来权衡选择基线长度。2.3 对极几何与立体校正为匹配铺平道路直接在两幅原始图像上寻找对应点立体匹配是非常困难的因为同一个点可能在两幅图像中的任意行上。对极几何理论告诉我们一个点在左图像上的位置约束了其在右图像上对应点必然位于一条特定的直线极线上。立体校正的目的就是通过图像变换将这两幅图像重投影到一个公共的、行对齐的平面上。经过理想的立体校正后原本复杂的极线搜索问题被简化成了水平方向的搜索左图像上的点(u_l, v)其在右图像上的对应点只可能出现在同一行v上其横坐标为u_r。这样匹配算法的搜索范围从二维降至一维极大提高了效率和鲁棒性。常用的立体校正方法是Bouguet算法它的目标是使左右图像的投影畸变最小同时保证重投影后的共同视野最大。校正后我们会得到两幅看起来“平行”的图像以及两个新的投影矩阵。此时一个三维点(X, Y, Z)在两幅校正图像上的像素坐标关系变得非常简单u_l - u_r fx * B / Z其中u_l - u_r就是视差DisparityB是基线距离fx是焦距。这个公式清晰地揭示了深度Z与视差成反比的关系是双目测距的基石。3. 标定实操全流程从准备到验证3.1 标定板的选择与准备标定板的精度直接决定了标定结果的精度。常见的有棋盘格和圆点网格如Charuco板。棋盘格 开源库如OpenCV支持最好角点检测算法成熟。缺点是必须保证整个棋盘格在视野内才能检测对视角要求较高。圆点网格/Charuco板 由圆和棋盘格组合而成。优点是即使部分被遮挡也能通过编码进行识别和姿态估计鲁棒性更强精度也通常更高是更推荐的选择。实操心得材质与平整度 一定要用刚性好的材料如亚克力板、铝板打印或蚀刻并确保其绝对平整。贴在软质泡沫板或弯曲的纸板上是常见错误会引入无法补偿的误差。尺寸与间距 方格或圆点的物理尺寸要精确已知例如每个方格边长30.0mm。尺寸误差会直接转化为标定误差。同时要保证标定板在图像中足够大通常建议标定板占据图像视野的1/3到1/2这样角点提取的亚像素精度更高。制作建议 如果条件允许可以去广告店用高精度喷绘或激光雕刻在哑光材质上。自己打印时务必用游标卡尺多次测量确认实际尺寸并注意打印机可能存在的缩放问题。3.2 图像采集的“黄金法则”采集标定图像集是整个流程中最需要耐心和技巧的环节。一个差的图像集会毁掉所有后续计算。数量与姿态 通常需要15-25张有效的图像对。关键不在于数量多而在于姿态覆盖要充分。你需要让标定板在左右相机的公共视野内以各种不同的角度、位置出现平放、倾斜、旋转、靠近镜头边缘、远近不同。目的是让角点均匀地分布在图像的各个区域特别是边缘区域这样才能更好地约束畸变参数。同步性 必须保证左右相机拍摄的是同一时刻的标定板姿态。对于非触发相机可以快速晃动标定板造成运动模糊以此确保两图是同时采集的。更好的方法是使用硬件触发线让两个相机同时曝光。清晰度与光照 图像必须清晰不能有运动模糊。光照要均匀避免在标定板上产生强烈的反光或阴影这会影响角点检测。可以尝试使用漫射光源。独家技巧 在采集时可以有意让标定板的某些角点非常靠近甚至略微超出图像边界。这样做的目的是让优化算法充分“感受”到图像边缘的畸变从而得到更准确的畸变系数估计。当然要保证大部分角点是可见的。3.3 使用OpenCV进行标定的步骤详解这里以Python OpenCV为例概述关键步骤和参数import cv2 import numpy as np # 1. 准备标定板参数 pattern_size (9, 6) # 内部角点数量 (width, height) square_size 30.0 # 单位毫米 # 2. 检测角点并存储 obj_points [] # 3D点 (世界坐标系) img_points_left [] # 2D点 (左图像) img_points_right [] # 2D点 (右图像) # 为每个姿态生成标定板的3D坐标 (Z0) objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size for img_left, img_right in image_pairs: gray_left cv2.cvtColor(img_left, cv2.COLOR_BGR2GRAY) gray_right cv2.cvtColor(img_right, cv2.COLOR_BGR2GRAY) # 查找角点 ret_left, corners_left cv2.findChessboardCorners(gray_left, pattern_size, None) ret_right, corners_right cv2.findChessboardCorners(gray_right, pattern_size, None) if ret_left and ret_right: # 亚像素精细化提升定位精度 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_left_refined cv2.cornerSubPix(gray_left, corners_left, (11,11), (-1,-1), criteria) corners_right_refined cv2.cornerSubPix(gray_right, corners_right, (11,11), (-1,-1), criteria) obj_points.append(objp) img_points_left.append(corners_left_refined) img_points_right.append(corners_right_refined) # 3. 单目标定分别标定左右相机 flags cv2.CALIB_FIX_K3 # 根据镜头情况选择普通镜头可以固定k3 ret_l, K_l, D_l, rvecs_l, tvecs_l cv2.calibrateCamera(obj_points, img_points_left, gray_left.shape[::-1], None, None, flagsflags) ret_r, K_r, D_r, rvecs_r, tvecs_r cv2.calibrateCamera(obj_points, img_points_right, gray_right.shape[::-1], None, None, flagsflags) # 4. 双目标定立体标定 criteria_stereo (cv2.TERM_CRITERIA_MAX_ITER cv2.TERM_CRITERIA_EPS, 100, 1e-5) flags_stereo cv2.CALIB_FIX_INTRINSIC # 使用单目标定好的内参和畸变 ret_stereo, K_l, D_l, K_r, D_r, R, T, E, F cv2.stereoCalibrate( obj_points, img_points_left, img_points_right, K_l, D_l, K_r, D_r, gray_left.shape[::-1], criteriacriteria_stereo, flagsflags_stereo ) # 5. 立体校正 R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( K_l, D_l, K_r, D_r, gray_left.shape[::-1], R, T, alpha0 # alpha0 表示只保留有效区域无黑边alpha1 保留所有原图内容但有黑边 ) # 6. 计算校正映射表 map1_l, map2_l cv2.initUndistortRectifyMap(K_l, D_l, R1, P1, gray_left.shape[::-1], cv2.CV_16SC2) map1_r, map2_r cv2.initUndistortRectifyMap(K_r, D_r, R2, P2, gray_right.shape[::-1], cv2.CV_16SC2) # 7. 实时校正 img_left_rectified cv2.remap(img_left, map1_l, map2_l, cv2.INTER_LINEAR) img_right_rectified cv2.remap(img_right, map1_r, map2_r, cv2.INTER_LINEAR)关键参数解析stereoCalibrate中的flagscv2.CALIB_FIX_INTRINSIC 这意味着我们在双目标定阶段信任并固定单目标定的结果只优化旋转矩阵R和平移向量T。这是最常用且稳定的方式。如果你怀疑单目标定不准也可以选择同时优化所有参数但优化变量增多需要更高质量的数据和更谨慎的初始值。stereoRectify中的alpha参数 这是一个平衡参数。设置为0会进行“裁剪”只保留左右图像完全重叠的矩形区域没有黑边但会损失一部分视野。设置为1会进行“拉伸”保留所有原始图像内容但会在非重叠区域产生大量黑边。通常建议设置为0或一个较小的值如0.25以获得干净、无黑边的校正图像便于后续立体匹配。4. 标定结果评估与深度验证标定程序跑完不报错输出了一堆参数这绝不意味着标定成功了。必须进行严格的定量和定性评估。4.1 重投影误差首要量化指标重投影误差是标定质量最核心的量化指标。它的含义是将标定板的三维角点用我们标定得到的相机参数内参、外参、畸变投影回图像平面得到计算出的像素坐标然后与实际检测到的角点像素坐标进行比较计算二者之间的欧氏距离。OpenCV的calibrateCamera和stereoCalibrate函数都会返回平均重投影误差。这个值应该尽可能小。优秀 平均误差 0.1像素对于亚像素精度的角点检测。良好 平均误差在0.1 - 0.3像素之间。需警惕 平均误差 0.5像素。这通常意味着标定板检测有问题、图像质量差、或者标定板姿态覆盖不足。必须检查 不仅要看总平均误差还要检查每一张标定图像的重投影误差。如果某几张图的误差显著高于其他图例如误差1像素说明这几张图的角点检测可能有问题或者标定板在那个姿态下发生了形变如未放平应该将其从数据集中剔除重新标定。4.2 立体校正视觉检查定性评估量化指标过关后必须进行视觉检查。将左右相机拍摄的同一场景最好是标定板或其他具有丰富垂直边缘的物体进行校正然后并排显示或合成红蓝图。行对齐检查 校正后的左右图像其对应行应该基本对齐。你可以画几条水平线贯穿左右图观察同一场景特征如标定板的角点、物体的边缘是否在同一水平线上。微小的偏差1-2像素可以接受但明显的错位说明校正失败。极线约束检查 在左图上选择一个特征点在右图上绘制其对应的极线。在理想校正下这条“极线”应该是一条水平线并且右图上的对应点应该落在这条水平线上。OpenCV的cv2.computeCorrespondEpilines函数可以辅助完成这个检查。4.3 实战验证三维重建与测距最直接的验证是使用标定结果进行实际的三维重建或测距。已知距离验证 放置一个物体在已知距离例如距离相机1米的位置使用标定后的系统进行立体匹配和三维重建计算该物体的深度。比较测量值与真实值的差异。这个误差应在一个合理的范围内例如在1米处误差小于1%。平面拟合验证 拍摄一个平坦的墙面或地面重建其点云。然后用平面方程去拟合这些点计算点到拟合平面的均方根误差RMSE。这个值反映了重建点云的平整度越小越好。一个标定良好的系统对于几米外的平面RMSE可以做到毫米级。重复性测试 在同一位置多次测量同一固定点的距离观察测量结果的波动标准差。良好的标定应保证高重复性精度。5. 常见问题、陷阱与高级话题5.1 标定结果不稳定每次运行都不一样这是最常见的问题之一。根本原因 输入数据图像集质量不高或一致性差。排查与解决检查角点检测 确保每一张图像的角点都被正确、一致地检测到。特别是图像边缘和角落的角点。可以可视化角点检测结果观察是否有误检或漏检。增加数据量和多样性 确保标定板覆盖了图像的所有区域中心、四角、四边并且姿态多样俯仰、偏航、滚转都有。使用更稳定的标定板 尝试使用Charuco板它对遮挡和部分可见的情况更鲁棒。固定优化种子 标定算法中的优化器如Levenberg-Marquardt可能对初始值敏感。虽然OpenCV接口不直接提供设置随机种子的选项但可以通过确保输入数据顺序一致来间接获得可重复的结果。5.2 立体校正后图像有严重黑边或变形alpha参数选择不当 如上文所述调整stereoRectify的alpha参数。如果业务需要最大视野可以接受黑边则设为1如果后续处理如立体匹配讨厌黑边则设为0并进行裁剪。外参R,T不准确 如果标定外参误差大计算出的校正变换就会很极端导致图像严重变形或有效区域极小。回头检查重投影误差和标定板姿态。相机相对位姿极端 如果两个相机的光轴夹角非常大比如超过30度标准的立体校正算法可能会失效。这种情况下可能需要考虑非共面的校正方法或者重新调整相机安装位置。5.3 双目系统与机器人手眼标定的衔接很多人做完双目标定后直接用它来引导机器人抓取却发现抓不准。这是因为缺少了关键一步手眼标定。双目标定得到了相机之间的相对关系但相机相对于机器人末端或基座的关系是未知的。手眼标定解决的是AX XB问题。其中A 机器人末端执行器在两次不同移动间的变换从机器人控制器读取已知。B 相机在两次移动间观察到的同一固定物体的位姿变换通过相机标定板和相机外参计算得出已知。X 待求的变换矩阵即相机到机器人末端眼在手外或相机到机器人基座眼在手外的变换关系。只有完成了手眼标定才能将相机看到的三维坐标准确地转换到机器人坐标系下从而指导机器人运动。5.4 九点标定与相机标定的区别在网络热词中提到了“九点标定”这里需要特别澄清它和本文讨论的相机标定是完全不同的概念但初学者极易混淆。相机标定本文核心 目的是求解相机的内部几何和光学特性内参、畸变以及多个相机间的相对位置关系外参。输出是焦距、主点、畸变系数、旋转平移矩阵等参数。它建立的是三维世界点与二维图像像素点之间的映射模型。九点标定通常指2D视觉 常见于平面视觉引导项目比如机器人从传送带上抓取物品。此时物体在一个已知高度的平面上运动。九点标定的目的是求解一个二维透视变换矩阵单应性矩阵H。它建立的是二维图像像素点与另一个二维平面如机器人基坐标系上的点之间的映射关系。它不关心深度信息默认所有点在同一平面内。简单总结 如果你需要测量深度、进行三维重建你必须做双目或多目相机标定。如果你的工作场景是固定的二维平面如流水线台面只需要知道物体在平面上的位置X, Y和旋转角度那么使用九点标定或更一般的N点标定来求单应性矩阵就足够了它更简单快捷。两者解决的问题维度不同。5.5 在线标定与自标定在某些动态或长期运行的应用中相机的内参特别是焦距如果使用变焦镜头或外参如果相机支架可能因振动或温度变化发生微小形变可能会缓慢变化。这就需要在线标定技术。在线标定 利用场景中的自然特征如消失点、平行线、运动信息等在系统运行过程中持续微调标定参数。这对算法的鲁棒性和实时性要求很高。自标定 仅通过拍摄未知结构的场景利用多视图几何约束如基础矩阵、本质矩阵来恢复相机参数。通常精度低于使用标定板的方法且存在尺度不确定性适用于无法使用标定板的场合。对于绝大多数工业应用我强烈建议在系统初始化时使用高精度的标定板进行离线标定并将其参数固化。定期如每月或每季度进行标定检查。只有在极端无法使用标定板或参数确实会频繁漂移的场景下才考虑复杂的在线或自标定方案。双目相机标定是一个理论与实践紧密结合的过程。理解其背后的几何和数学模型能帮助你在出现问题时快速定位根源而严谨细致的实操流程则是获得高精度结果的唯一途径。记住标定不是一劳永逸的“一次性任务”而是整个视觉系统生命周期的“精度守护者”。每次更换镜头、调整焦距、甚至经历剧烈的温度变化后都值得重新评估一下你的标定参数是否依然可靠。 双目相机标定：从针孔模型到立体校正的完整指南
1. 项目概述为什么双目相机标定是三维视觉的基石在三维视觉和机器人感知领域双目相机系统因其被动、非接触、能直接获取深度信息的特性成为了从自动驾驶到工业检测的“眼睛”。但很多人拿到一对相机装上支架拍几张照片就开始跑算法结果发现重建的点云歪歪扭扭测距误差大得离谱。问题往往就出在最基础也最关键的环节——双目相机标定。这不仅仅是跑一个OpenCV函数那么简单它是一套完整的理论体系决定了你后续所有三维数据的精度上限。简单来说双目相机标定要解决两个核心问题每个相机自身的成像畸变内参标定以及两个相机之间的空间位置关系外参标定。内参告诉你世界中的一个点是如何投影到相机图像平面上的外参则告诉你右相机看到的同一个点在左相机的坐标系里到底在哪里。只有精确知道了这两组参数我们才能将两幅二维图像上的像素点进行精准匹配并通过三角测量原理计算出其三维坐标。这个过程就是双目视觉从2D到3D的“翻译”过程。我见过太多项目卡在标定这一步。有人用打印的棋盘格随便拍几张标定结果飘忽不定有人忽略了镜头的径向和切向畸变导致图像边缘的匹配完全失效更常见的是不理解标定结果旋转矩阵R和平移向量T的物理意义在后续手眼标定或坐标系转换时一头雾水。因此这篇总结将从理论根源出发结合我踩过的坑和实战经验帮你彻底理清双目相机标定的脉络让你不仅能“做对”更能“做好”。2. 核心理论框架从针孔模型到立体校正2.1 相机成像的数学模型内参的由来一切始于最经典的针孔相机模型。这个模型假设光线通过一个无限小的孔光学中心在成像平面上形成倒立的像。为了数学处理的方便我们通常使用等效的正立像模型。在这个模型下一个三维世界点[X, Y, Z]在相机坐标系下投影到图像像素点[u, v]的过程可以用一个矩阵乘法来描述s * [u, v, 1]^T K * [X, Y, Z]^T这里的s是一个非零的尺度因子而矩阵K就是相机的内参矩阵它包含了相机的核心物理特性K [ fx, 0, cx; 0, fy, cy; 0, 0, 1 ]fx,fy 分别是x轴和y轴方向的焦距单位是像素。它们由相机的物理焦距和图像传感器的像元尺寸共同决定。fx和fy不相等说明像素不是正方形的这在许多工业相机中很常见。cx,cy 是主点坐标即光轴与图像平面的交点理论上位于图像中心但实际会因组装偏差而有微小偏移。注意 很多人误以为内参就是焦距和主点。实际上完整的标定还必须估计畸变系数。镜头并非理想的针孔尤其是广角镜头会产生严重的径向畸变图像边缘的直线变弯和切向畸变由于镜头与传感器不平行导致。OpenCV常用的畸变模型包含5个参数[k1, k2, p1, p2, k3]。前三个k1, k2, k3用于校正径向畸变后两个p1, p2用于校正切向畸变。不校正畸变你的图像坐标映射就是错误的后续的立体匹配和三维重建精度无从谈起。2.2 双目系统的几何关系外参的本质当我们有两个相机左目和右目时它们观察同一个三维点P。假设我们以左目相机坐标系为世界坐标系那么点P在左目坐标系下的坐标为P_l在右目坐标系下的坐标为P_r。这两个坐标通过一个刚体变换相关联P_r R * P_l T这里的R是一个3x3的旋转矩阵T是一个3x1的平移向量。[R | T]合起来就是双目系统的外参它精确描述了右相机相对于左相机的位姿。平移向量T的物理意义极其重要它的模长||T||就是两个相机光心之间的距离即基线距离Baseline。基线是双目系统测距能力的决定性因素之一。基线越长对同一距离的物体产生的视差越大距离测量越敏感、越精确尤其是在远距离但基线过长会导致两个相机视野重叠区域变小不利于近距离物体的观测。因此在实际搭建双目系统时需要根据观测距离范围来权衡选择基线长度。2.3 对极几何与立体校正为匹配铺平道路直接在两幅原始图像上寻找对应点立体匹配是非常困难的因为同一个点可能在两幅图像中的任意行上。对极几何理论告诉我们一个点在左图像上的位置约束了其在右图像上对应点必然位于一条特定的直线极线上。立体校正的目的就是通过图像变换将这两幅图像重投影到一个公共的、行对齐的平面上。经过理想的立体校正后原本复杂的极线搜索问题被简化成了水平方向的搜索左图像上的点(u_l, v)其在右图像上的对应点只可能出现在同一行v上其横坐标为u_r。这样匹配算法的搜索范围从二维降至一维极大提高了效率和鲁棒性。常用的立体校正方法是Bouguet算法它的目标是使左右图像的投影畸变最小同时保证重投影后的共同视野最大。校正后我们会得到两幅看起来“平行”的图像以及两个新的投影矩阵。此时一个三维点(X, Y, Z)在两幅校正图像上的像素坐标关系变得非常简单u_l - u_r fx * B / Z其中u_l - u_r就是视差DisparityB是基线距离fx是焦距。这个公式清晰地揭示了深度Z与视差成反比的关系是双目测距的基石。3. 标定实操全流程从准备到验证3.1 标定板的选择与准备标定板的精度直接决定了标定结果的精度。常见的有棋盘格和圆点网格如Charuco板。棋盘格 开源库如OpenCV支持最好角点检测算法成熟。缺点是必须保证整个棋盘格在视野内才能检测对视角要求较高。圆点网格/Charuco板 由圆和棋盘格组合而成。优点是即使部分被遮挡也能通过编码进行识别和姿态估计鲁棒性更强精度也通常更高是更推荐的选择。实操心得材质与平整度 一定要用刚性好的材料如亚克力板、铝板打印或蚀刻并确保其绝对平整。贴在软质泡沫板或弯曲的纸板上是常见错误会引入无法补偿的误差。尺寸与间距 方格或圆点的物理尺寸要精确已知例如每个方格边长30.0mm。尺寸误差会直接转化为标定误差。同时要保证标定板在图像中足够大通常建议标定板占据图像视野的1/3到1/2这样角点提取的亚像素精度更高。制作建议 如果条件允许可以去广告店用高精度喷绘或激光雕刻在哑光材质上。自己打印时务必用游标卡尺多次测量确认实际尺寸并注意打印机可能存在的缩放问题。3.2 图像采集的“黄金法则”采集标定图像集是整个流程中最需要耐心和技巧的环节。一个差的图像集会毁掉所有后续计算。数量与姿态 通常需要15-25张有效的图像对。关键不在于数量多而在于姿态覆盖要充分。你需要让标定板在左右相机的公共视野内以各种不同的角度、位置出现平放、倾斜、旋转、靠近镜头边缘、远近不同。目的是让角点均匀地分布在图像的各个区域特别是边缘区域这样才能更好地约束畸变参数。同步性 必须保证左右相机拍摄的是同一时刻的标定板姿态。对于非触发相机可以快速晃动标定板造成运动模糊以此确保两图是同时采集的。更好的方法是使用硬件触发线让两个相机同时曝光。清晰度与光照 图像必须清晰不能有运动模糊。光照要均匀避免在标定板上产生强烈的反光或阴影这会影响角点检测。可以尝试使用漫射光源。独家技巧 在采集时可以有意让标定板的某些角点非常靠近甚至略微超出图像边界。这样做的目的是让优化算法充分“感受”到图像边缘的畸变从而得到更准确的畸变系数估计。当然要保证大部分角点是可见的。3.3 使用OpenCV进行标定的步骤详解这里以Python OpenCV为例概述关键步骤和参数import cv2 import numpy as np # 1. 准备标定板参数 pattern_size (9, 6) # 内部角点数量 (width, height) square_size 30.0 # 单位毫米 # 2. 检测角点并存储 obj_points [] # 3D点 (世界坐标系) img_points_left [] # 2D点 (左图像) img_points_right [] # 2D点 (右图像) # 为每个姿态生成标定板的3D坐标 (Z0) objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size for img_left, img_right in image_pairs: gray_left cv2.cvtColor(img_left, cv2.COLOR_BGR2GRAY) gray_right cv2.cvtColor(img_right, cv2.COLOR_BGR2GRAY) # 查找角点 ret_left, corners_left cv2.findChessboardCorners(gray_left, pattern_size, None) ret_right, corners_right cv2.findChessboardCorners(gray_right, pattern_size, None) if ret_left and ret_right: # 亚像素精细化提升定位精度 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_left_refined cv2.cornerSubPix(gray_left, corners_left, (11,11), (-1,-1), criteria) corners_right_refined cv2.cornerSubPix(gray_right, corners_right, (11,11), (-1,-1), criteria) obj_points.append(objp) img_points_left.append(corners_left_refined) img_points_right.append(corners_right_refined) # 3. 单目标定分别标定左右相机 flags cv2.CALIB_FIX_K3 # 根据镜头情况选择普通镜头可以固定k3 ret_l, K_l, D_l, rvecs_l, tvecs_l cv2.calibrateCamera(obj_points, img_points_left, gray_left.shape[::-1], None, None, flagsflags) ret_r, K_r, D_r, rvecs_r, tvecs_r cv2.calibrateCamera(obj_points, img_points_right, gray_right.shape[::-1], None, None, flagsflags) # 4. 双目标定立体标定 criteria_stereo (cv2.TERM_CRITERIA_MAX_ITER cv2.TERM_CRITERIA_EPS, 100, 1e-5) flags_stereo cv2.CALIB_FIX_INTRINSIC # 使用单目标定好的内参和畸变 ret_stereo, K_l, D_l, K_r, D_r, R, T, E, F cv2.stereoCalibrate( obj_points, img_points_left, img_points_right, K_l, D_l, K_r, D_r, gray_left.shape[::-1], criteriacriteria_stereo, flagsflags_stereo ) # 5. 立体校正 R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( K_l, D_l, K_r, D_r, gray_left.shape[::-1], R, T, alpha0 # alpha0 表示只保留有效区域无黑边alpha1 保留所有原图内容但有黑边 ) # 6. 计算校正映射表 map1_l, map2_l cv2.initUndistortRectifyMap(K_l, D_l, R1, P1, gray_left.shape[::-1], cv2.CV_16SC2) map1_r, map2_r cv2.initUndistortRectifyMap(K_r, D_r, R2, P2, gray_right.shape[::-1], cv2.CV_16SC2) # 7. 实时校正 img_left_rectified cv2.remap(img_left, map1_l, map2_l, cv2.INTER_LINEAR) img_right_rectified cv2.remap(img_right, map1_r, map2_r, cv2.INTER_LINEAR)关键参数解析stereoCalibrate中的flagscv2.CALIB_FIX_INTRINSIC 这意味着我们在双目标定阶段信任并固定单目标定的结果只优化旋转矩阵R和平移向量T。这是最常用且稳定的方式。如果你怀疑单目标定不准也可以选择同时优化所有参数但优化变量增多需要更高质量的数据和更谨慎的初始值。stereoRectify中的alpha参数 这是一个平衡参数。设置为0会进行“裁剪”只保留左右图像完全重叠的矩形区域没有黑边但会损失一部分视野。设置为1会进行“拉伸”保留所有原始图像内容但会在非重叠区域产生大量黑边。通常建议设置为0或一个较小的值如0.25以获得干净、无黑边的校正图像便于后续立体匹配。4. 标定结果评估与深度验证标定程序跑完不报错输出了一堆参数这绝不意味着标定成功了。必须进行严格的定量和定性评估。4.1 重投影误差首要量化指标重投影误差是标定质量最核心的量化指标。它的含义是将标定板的三维角点用我们标定得到的相机参数内参、外参、畸变投影回图像平面得到计算出的像素坐标然后与实际检测到的角点像素坐标进行比较计算二者之间的欧氏距离。OpenCV的calibrateCamera和stereoCalibrate函数都会返回平均重投影误差。这个值应该尽可能小。优秀 平均误差 0.1像素对于亚像素精度的角点检测。良好 平均误差在0.1 - 0.3像素之间。需警惕 平均误差 0.5像素。这通常意味着标定板检测有问题、图像质量差、或者标定板姿态覆盖不足。必须检查 不仅要看总平均误差还要检查每一张标定图像的重投影误差。如果某几张图的误差显著高于其他图例如误差1像素说明这几张图的角点检测可能有问题或者标定板在那个姿态下发生了形变如未放平应该将其从数据集中剔除重新标定。4.2 立体校正视觉检查定性评估量化指标过关后必须进行视觉检查。将左右相机拍摄的同一场景最好是标定板或其他具有丰富垂直边缘的物体进行校正然后并排显示或合成红蓝图。行对齐检查 校正后的左右图像其对应行应该基本对齐。你可以画几条水平线贯穿左右图观察同一场景特征如标定板的角点、物体的边缘是否在同一水平线上。微小的偏差1-2像素可以接受但明显的错位说明校正失败。极线约束检查 在左图上选择一个特征点在右图上绘制其对应的极线。在理想校正下这条“极线”应该是一条水平线并且右图上的对应点应该落在这条水平线上。OpenCV的cv2.computeCorrespondEpilines函数可以辅助完成这个检查。4.3 实战验证三维重建与测距最直接的验证是使用标定结果进行实际的三维重建或测距。已知距离验证 放置一个物体在已知距离例如距离相机1米的位置使用标定后的系统进行立体匹配和三维重建计算该物体的深度。比较测量值与真实值的差异。这个误差应在一个合理的范围内例如在1米处误差小于1%。平面拟合验证 拍摄一个平坦的墙面或地面重建其点云。然后用平面方程去拟合这些点计算点到拟合平面的均方根误差RMSE。这个值反映了重建点云的平整度越小越好。一个标定良好的系统对于几米外的平面RMSE可以做到毫米级。重复性测试 在同一位置多次测量同一固定点的距离观察测量结果的波动标准差。良好的标定应保证高重复性精度。5. 常见问题、陷阱与高级话题5.1 标定结果不稳定每次运行都不一样这是最常见的问题之一。根本原因 输入数据图像集质量不高或一致性差。排查与解决检查角点检测 确保每一张图像的角点都被正确、一致地检测到。特别是图像边缘和角落的角点。可以可视化角点检测结果观察是否有误检或漏检。增加数据量和多样性 确保标定板覆盖了图像的所有区域中心、四角、四边并且姿态多样俯仰、偏航、滚转都有。使用更稳定的标定板 尝试使用Charuco板它对遮挡和部分可见的情况更鲁棒。固定优化种子 标定算法中的优化器如Levenberg-Marquardt可能对初始值敏感。虽然OpenCV接口不直接提供设置随机种子的选项但可以通过确保输入数据顺序一致来间接获得可重复的结果。5.2 立体校正后图像有严重黑边或变形alpha参数选择不当 如上文所述调整stereoRectify的alpha参数。如果业务需要最大视野可以接受黑边则设为1如果后续处理如立体匹配讨厌黑边则设为0并进行裁剪。外参R,T不准确 如果标定外参误差大计算出的校正变换就会很极端导致图像严重变形或有效区域极小。回头检查重投影误差和标定板姿态。相机相对位姿极端 如果两个相机的光轴夹角非常大比如超过30度标准的立体校正算法可能会失效。这种情况下可能需要考虑非共面的校正方法或者重新调整相机安装位置。5.3 双目系统与机器人手眼标定的衔接很多人做完双目标定后直接用它来引导机器人抓取却发现抓不准。这是因为缺少了关键一步手眼标定。双目标定得到了相机之间的相对关系但相机相对于机器人末端或基座的关系是未知的。手眼标定解决的是AX XB问题。其中A 机器人末端执行器在两次不同移动间的变换从机器人控制器读取已知。B 相机在两次移动间观察到的同一固定物体的位姿变换通过相机标定板和相机外参计算得出已知。X 待求的变换矩阵即相机到机器人末端眼在手外或相机到机器人基座眼在手外的变换关系。只有完成了手眼标定才能将相机看到的三维坐标准确地转换到机器人坐标系下从而指导机器人运动。5.4 九点标定与相机标定的区别在网络热词中提到了“九点标定”这里需要特别澄清它和本文讨论的相机标定是完全不同的概念但初学者极易混淆。相机标定本文核心 目的是求解相机的内部几何和光学特性内参、畸变以及多个相机间的相对位置关系外参。输出是焦距、主点、畸变系数、旋转平移矩阵等参数。它建立的是三维世界点与二维图像像素点之间的映射模型。九点标定通常指2D视觉 常见于平面视觉引导项目比如机器人从传送带上抓取物品。此时物体在一个已知高度的平面上运动。九点标定的目的是求解一个二维透视变换矩阵单应性矩阵H。它建立的是二维图像像素点与另一个二维平面如机器人基坐标系上的点之间的映射关系。它不关心深度信息默认所有点在同一平面内。简单总结 如果你需要测量深度、进行三维重建你必须做双目或多目相机标定。如果你的工作场景是固定的二维平面如流水线台面只需要知道物体在平面上的位置X, Y和旋转角度那么使用九点标定或更一般的N点标定来求单应性矩阵就足够了它更简单快捷。两者解决的问题维度不同。5.5 在线标定与自标定在某些动态或长期运行的应用中相机的内参特别是焦距如果使用变焦镜头或外参如果相机支架可能因振动或温度变化发生微小形变可能会缓慢变化。这就需要在线标定技术。在线标定 利用场景中的自然特征如消失点、平行线、运动信息等在系统运行过程中持续微调标定参数。这对算法的鲁棒性和实时性要求很高。自标定 仅通过拍摄未知结构的场景利用多视图几何约束如基础矩阵、本质矩阵来恢复相机参数。通常精度低于使用标定板的方法且存在尺度不确定性适用于无法使用标定板的场合。对于绝大多数工业应用我强烈建议在系统初始化时使用高精度的标定板进行离线标定并将其参数固化。定期如每月或每季度进行标定检查。只有在极端无法使用标定板或参数确实会频繁漂移的场景下才考虑复杂的在线或自标定方案。双目相机标定是一个理论与实践紧密结合的过程。理解其背后的几何和数学模型能帮助你在出现问题时快速定位根源而严谨细致的实操流程则是获得高精度结果的唯一途径。记住标定不是一劳永逸的“一次性任务”而是整个视觉系统生命周期的“精度守护者”。每次更换镜头、调整焦距、甚至经历剧烈的温度变化后都值得重新评估一下你的标定参数是否依然可靠。