相机与机械臂的手眼标定：精确融合的科技艺术

一、手眼标定概述

相机安装在机械臂上的手眼 标定在工业自动化等领域具有至关重要的作用。在现代工业生产中，精度和效率是关键指标。手眼标定能够实现相机坐标系与机械臂坐标系的精确转换，为机械臂的精准操作提供了基础。

其应用场景广泛。例如在货物搬运中，通过手眼 标定，机械臂可以准确地识别目标物体在相机坐标系下的位置，并将其转换为机械臂坐标系下的坐标，从而实现高效、准确的搬运操作。在果园采摘等场景中，相机安装在机械臂末端，能够随着机械臂的移动实时获取周围环境信息，通过手眼标定，机械臂可以精确地定位果实的位置并进行采摘，大大提高了采摘效率和准确性。随着工业自动化的不断发展，越来越多的复杂任务需要机械臂来完成。而手眼 标定作为实现机械臂精准操作的关键技术，其重要性不言而喻。它不仅可以提高生产效率，降低人力成本，还可以提高产品质量和稳定性，为工业自动化的发展提供了有力支持。

二、手眼标定原理

（一）坐标系定义

在机械臂项目中，涉及多个重要的坐标系。

• 基础坐标系：以机械臂的基座为原点建立的坐标系，为整个机械臂系统提供了一个固定的参考框架。在进行各种操作和计算时，其他坐标系的位置和姿态都是相对于基础坐标系来确定的。

• 机械臂末端坐标系：通常机械臂末端会覆盖一层法兰，所以该坐标系又称为法兰末端坐标系。它反映了机械臂末端在空间中的位置和姿态，是机械臂执行具体任务时的关键参考系。实际应用中，机械臂的位姿通常就是指末端关节坐标系在基坐标系下的位置和姿态。

• 相机坐标系：由相机定义的坐标系，与图像像素坐标系不同。相机通过这个坐标系来确定所拍摄物体的位置和姿态信息。在进行手眼 3 标定时，需要将相机坐标系与机械臂的坐标系进行精确转换。

• 标定物坐标系：用于标定过程的坐标系，通常是一个已知尺寸和形状的物体，其坐标系的建立有助于确定相机和机械臂之间的转换关系。通过对标定物在不同坐标系下的位置和姿态进行测量和计算，可以求解出相机与机械臂末端之间的手眼矩阵。

  

  
  

  三、手眼标定步骤

  （一）准备工作

  首先，安装相机和机械臂末端执行器，并确保它们的坐标系已经定义和确定。通常，这需要精确的测量和校准工具，以确保各个部件的位置和方向准确无误。准备一个标定板，一般是带有特定图案的平面板，如棋盘格图案的标定板。棋盘格的大小和间距可以根据实际需求进行选择，常见的棋盘格尺寸有 8x8、10x10 等，每个方格的边长可以在几厘米到几十厘米不等。例如，使用一个 10x10 棋盘格标定板，方格边长为 10 厘米，这样的标定板可以为相机提供清晰的特征点，便于后续的标定过程。

  （二）数据采集

  将标定板置于固定位置，确保在整个标定过程中不会发生移动。移动机械臂，使相机从不同的位置和姿态拍摄多张图像。在拍摄过程中，同时记录机械臂末端执行器的关节角度和相机的位姿，即位置和姿态。例如，可以记录机械臂在不同位置时的 X、Y、Z 坐标以及绕三个坐标轴的旋转角度 RX、RY、RZ。假设我们移动机械臂拍摄了 20 张图像，每张图像都对应着一组机械臂位姿数据，这些数据将为后续的标定提供重要依据。

  （三）特征点提取

  通过图像处理算法提取标定板上的特征点，常用的特征点包括角点、边缘等。特征点的提取可以使用角点检测算法，如 Harris 角点检测。Harris 角点检测算法通过计算图像局部区域的灰度变化来确定角点位置。对于一个给定的图像，该算法首先计算图像在 X 和 Y 方向的梯度，然后计算梯度的自相关矩阵，最后根据自相关矩阵的特征值来判断是否为角点。如果一个像素点的自相关矩阵的两个特征值都很大，那么这个点就被认为是角点。另外，也可以基于模板匹配的方法提取特征点，即通过将一个已知的模板与图像进行匹配，找到与模板最相似的区域，从而确定特征点的位置。

  （四）建立关系

  利用特征点匹配，建立相机和机械臂坐标系之间的关系。将相机图像中的特征点与机械臂末端执行器的特征点进行对应，基于对应点的关系，可以使用最小二乘法或其他优化算法来计算相机和机械臂末端执行器之间的坐标转换关系。例如，使用最小二乘法来最小化特征点的重投影误差，通过最优化求解转换矩阵，使得特征点在相机和机械臂坐标系中的投影误差最小化。