视觉识别和机械臂协同工作在一个闭环系统中运行。摄像头监控工作空间，感知管道识别每个物体及其姿态。然后，视觉伺服系统实时引导机械臂运动。主要部件包括摄像头（或多个摄像头）、感知管道、姿态估计器、运动规划器和控制器。这个闭环系统对硬件工程师和电子产品团队至关重要，因为电路板级设计决定了其成败。接口选择、延迟、噪声和制造工艺的权衡决定了实际的限制因素。其优势在于闭环精度、对零件位置变化的适应性以及更少的夹具。分析师预测，到2025年，该市场规模将达到3.89亿美元，2027年至2035年的复合年增长率将达到11.2%。您将看到机器视觉、计算机视觉和视觉集成如何将机器人和视觉系统连接起来。精心设计的机械臂会获得回报，而偷工减料则会遭到惩罚。
关键精华
视觉系统和机械臂协同工作，形成一个循环：摄像头发现物体，机械臂移动到物体所在位置。
根据线缆长度选择相机接口：MIPI CSI-2 用于短距离传输，USB3 用于几米传输，GigE 用于长距离传输。
经常检查和调整手眼协调能力，以防止偏差并保持准确性。
规划好从相机拍照到机械臂移动的时间预算，以避免延误。
避免电机噪音干扰相机线缆，以保持图像清晰。
机械臂基础知识和机器视觉控制
六自由度与手臂运动学
一个六轴关节机械臂将其工具放置在三个平移自由度和三个旋转自由度上。正向运动学通过关节变量计算末端执行器的位姿。你需要将基坐标系到工具坐标系的变换联系起来。根据Denavit-Hartenberg约定，每个关节有四个参数：连杆长度、连杆扭转角、连杆偏移量和关节角度。将每个关节的齐次矩阵相乘即可得到基坐标系到工具坐标系的变换。其左上角的3×3矩阵块是旋转矩阵，第四列的前三个元素给出了位置向量。
逆运动学则相反。它通过求解已知目标姿态时的关节角度来进行计算。闭式解很少见，而且大多只适用于腕关节为球形的机械臂。因此，大多数机械臂都采用数值迭代法：
首先进行初始联合猜测。
通过正向运动学计算当前姿态。
计算姿态误差。
使用按步长缩放的雅可比伪逆来更新关节。
重复此过程，直到误差低于容差范围。
感知到行动控制回路
整个流程分为五个阶段：帧捕获、检测、姿态估计、规划和控制。机器视觉提供原始帧。计算机视觉和视觉识别将这些帧转换为物体标识和六自由度姿态。规划器将每个姿态转换为关节轨迹，控制器驱动机械臂沿该轨迹运动。每个阶段都会增加延迟，因此需要在捕获帧时添加时间戳，并控制整个流程的延迟。
视觉集成通常将集成摄像头直接安装在末端执行器上。这种“眼在手”的布局消除了夹爪附近的盲区，并简化了校准过程。多摄像头视图将感知范围扩展到整个三维工作空间，有助于在杂乱的料箱中对零件进行复杂的操作和精确操作。同样的架构可以从工业机器人和协作机器人扩展到协作机器人单元，在协作机器人单元中，第二个关节式机械臂用于跟踪移动物体。机械臂的设计者应将摄像头位置视为一个机械决策，因为安装刚度对姿态精度的影响与算法的影响同样重要。
计算机视觉和目标识别技术
PBVS、IBVS 和混合视觉伺服
基于位置的视觉伺服（PBVS）利用机器视觉确定零件在三维空间中的位置，然后告诉机械臂在笛卡尔空间中应该移动的方向。基于图像的视觉伺服（IBVS）则跳过这一步骤，直接根据图像特征控制机械臂的运动。混合方案则同时运行这两个循环。
混合 2 1/2 维方案平衡了 IBVS 的局部稳定性与 PBVS 对精确姿态估计、校准和物体模型的依赖程度。
途径
稳健性特征
复杂
混合型（IBVS + PBVS）
手柄具有遮挡功能，并能补偿里程计或滑移造成的姿态误差。
更高：需要设计和调整两个循环
IBVS
依赖于视觉反馈，而非内部里程计
下：单环
PBVS
需要精确的姿态估计、标定和物体模型
下：单环
当您拥有清晰的 CAD 模型和校准良好的单元时，请选择 PBVS。当校准出现漂移或零件没有纹理时，请选择 IBVS。大多数生产中的机械臂运行单循环。大多数研究实验室中的机械臂运行混合循环。混合设计适用于复杂操作，尤其是在遮挡较为常见的情况下。面对光亮零件的机械臂也能从额外的反馈中获益。
已发表的针对无纹理物体的试验表明了这一差距。基于关键点的扩展卡尔曼滤波（EKF）方法在正常条件下伺服成功率达到95.12%，在不利条件下达到82.61%。IBVS+PVNet基线方法在正常条件下伺服成功率达到87.81%，在不利条件下达到52.17%。PBVS+PVNet基线方法在正常条件下伺服成功率达到84.15%，在不利条件下达到40.58%。在两种情况下，该方法均实现了最低的平移误差、旋转误差和轨迹长度比。
用于检测和姿态估计的深度学习
如今，深度学习承担了视觉识别流程中大部分的物体识别工作。现代的估计器可以直接预测物体的宽度和角度。这样一来，无需CAD模型，机械臂就能获得抓取姿态。
MegaPose：一种渲染比较管线，通过由粗到精的细化实现强大的零样本性能。
FoundationPose：一个用于检测、跟踪和估计新物体姿态的统一框架。
两者都在 YCB-Video 测试集上运行。但来源并未提供它们在该测试集上的准确率数据。在更新的 6 自由度抓取数据集上，EfficientPose 的准确率达到了 97.05%，FFB6D 的准确率达到了 98.09%。
型号 | 报告的准确性 |
|---|---|
高效姿态 | 97.05% |
FFB6D | 98.09% |
诸如 BOP 挑战赛之类的基准测试推动了这一进展。它们使用 ADD 和 MSSD 等几何指标对方法进行评分。
视觉语言模型和基于交互的视觉系统（IBVS）仍是新兴的控制方向。应将其视为有前景的技术，而非成熟的技术。许多团队将传统的伺服控制与用于目标检测的人工智能模型相结合。这种分离方式能够保持控制回路的可预测性。人工智能在感知阶段发挥的作用最大，计算机视觉和目标识别技术可以处理杂乱的场景。目前，人工智能在伺服回路内部的价值有限。机器视觉供应商现在已将人工智能模型集成到机器中，而计算机视觉库则涵盖了其余部分。物流单元中的机械臂仍然需要快速、简单的伺服控制律。仅靠模式识别无法实现闭环控制。第二个机械臂可以跟踪移动目标，在这种情况下，精确的时间控制比模型的大小更为重要。
视觉集成在视觉制导武器中的应用
相机接口、校准和手眼协调
您选择的摄像头接口决定了机械臂单元的作业范围和精度。MIPI CSI-2 适用于机械臂内部的短距离板对板通信。USB3 可以使用简单的线缆传输几米距离。千兆以太网可以覆盖生产线的远距离，但会增加数据包抖动，您必须对此进行规划。选择接口时，首先考虑线缆长度，其次考虑分辨率和帧速率。
高速差分线对的布线应保持对称。P 型和 N 型走线应位于相同的路径上，并保持平衡的弯曲和过孔。保持发射器到接收器之间的间距恒定，并匹配 P 型和 N 型走线的长度以减少时延偏差。线对应布线在连续的接地层上，避免使用分割的接地层和铜箔切口。对于 USB 3.0 和类似链路，应将时延偏差控制在 25–50 ps 以内，并将差分阻抗保持在 90 Ω ± 10% 左右。交流耦合电容应对称放置，并优先选择 0402 等小型封装。
手眼标定用于估计末端执行器坐标系和相机坐标系之间的变换。标准形式为 AX = XB，其中 A 和 B 分别表示机械臂和相机在各帧之间的位姿，X 表示未知的变换。可以使用标定板法，该方法需要拍摄至少十张安装在机械臂上的标定板图像。点对列表法则无需在工件上安装标定板即可进行标定。现在，自动标定程序只需少量人工干预即可完成这些步骤。下图展示了六种关节配置下的典型标定结果。
米制 | 翻译 | 回转 |
|---|---|---|
最大RV（X，Y，Z） | 2.471 mm，3.751 mm，1.423 mm | 0.957°，0.454°，0.702° |
平均房车 | 2.548 毫米 | 0.704° |
平均偏差（SD） | 0.930 毫米 | 0.265° |
通过对表格进行静态测试和通过 ICP 登记变换后的点云的动态测试进行验证。
延迟预算和噪声隔离
规划从帧捕获到机械臂运动的延迟预算。在捕获帧时为每一帧添加时间戳，然后加上检测、姿态估计、规划和总线延迟。EtherCAT 为机械臂控制器提供确定性的时序。
参数 | 典型的 EtherCAT 性能 |
|---|---|
循环时间（10轴伺服系统） | 100–250 微秒 |
抖动 | < 1 微秒 |
分布式时钟同步精度 | 优于 100 纳秒 |
分布式时钟技术通过硬件保持所有从设备同步，从而确保在软件负载下时序依然稳定。对于小型机械臂上速度较慢的轴，CAN 总线仍然适用。
避免电机驱动器噪声干扰图像传输链。将电缆屏蔽层在两端进行360°焊接，切勿将屏蔽层穿过尾纤的漏极线。机柜内部的信号和电源布线应分开。降低MOSFET栅极驱动速度并缩小高电流回路面积，从源头上减少噪声。这些措施可确保机器视觉在操作任务中的精度。
对于可制造性设计 (DFM)，布线前务必确认叠层结构，将走线几何尺寸控制在 ±5 mil 以内，并与制造商协商阻抗容差。机器视觉集成成功的关键在于电路板布局、校准和时序都得到同等重视。如果其中任何一项被忽视，视觉集成都将失败。尽早规划视觉集成，您的机械臂就能在整个生产线上保持精度。
应用、挑战和机器视觉解决方案
制造业和物流业的实际应用案例
视觉引导协作机器人广泛应用于拣选放置单元、料箱清空以及生产线上的物体搜寻。3D 摄像头能够识别小于 5 毫米的特征，因此机械臂可以清空装满零件的料箱，而不会抓取错误的零件。双臂协作机器人可以跟踪移动物体，而人机协作单元则可以在人和机械臂之间传递零件。视觉集成带来的收益是可以量化的：
拣选速度可达每小时 200 件以上，准确率超过 99.9%，放置精度接近 ±0.1 毫米。
分拣准确率提高了近 25%–30%，高峰时段的订单履行速度也大幅提升。
错误率降低，您可以将员工调到更有价值的任务上。
这些结果支持工业机器人和协作机器人的效率、可重复性和安全性。视觉引导的协作机器人还支持远程操作和数据采集，这些数据可用于机器人机器学习数据管道。同样的AI数据采集循环也用于训练AI模型以执行复杂的操作。预计AI驱动的机械臂在能够独立处理复杂操作之前，将依赖模仿学习和远程操作。
常见故障模式及缓解策略
延迟、校准漂移、反射、遮挡以及电机噪声泄漏到图像链中是造成大多数故障的原因。识别和路径规划每个周期需要 100-500 毫秒，仅此延迟就足以破坏紧密的伺服回路。典型的工业抓取故障率约为每小时 2-8%，普通拾取放置的掉落率约为每小时 3-5%。硬形状的物体会使峰值掉落率达到每小时 10-12%，而目标是低于每小时 0.1%。
Condition | 对故障率的影响 |
|---|---|
每个循环中振动幅度超过 0.5g 或温度波动超过 15°C。 | 高出 200–300% |
照明不稳定 | 深度误差增加 40%–60%。 |
这些问题应该在电路板层面解决。屏蔽图像链路，360°焊接屏蔽罩，并确保电机电源线远离相机导轨。增加环境补偿和预测性维护功能，例如振动和热传感。利用人工智能模型进行机器视觉，可以实时预测抓取故障。计算机视觉负责故障检测，而基于视觉的操作任务则可以受益于自适应抓取力控制。定期执行校准程序，并将视觉引导操作首先视为一个时序问题。
现在你对这个循环有了大致的了解。摄像头捕捉场景，视觉识别系统将像素转换成物体姿态，控制器则控制机械臂沿着预定路径移动。每个循环都通过反馈机制完成整个过程。
尽早考虑各种权衡取舍。传统的伺服控制方式可预测性强，且检查成本低。深度学习方法虽然能提供适应性，但需要消耗数据和计算资源。接口范围、延迟预算和噪声隔离相互制约，因此在布局之前要确定优先级。
密切关注视觉伺服学习、视觉语言模型和事件相机。视觉引导的协作机器人将受益于远程操作和数据采集，而人工智能模型将进一步推动复杂操作的发展。人工智能不会取代你的时间预算。从一个校准过的单元开始，记录每个循环，让协作机器人技术在此基础上发展。机械臂奖励严谨的操作。基于测量数据构建的机械臂能够自信地处理复杂操作。
常见问题解答
机械臂单元应该选择哪种摄像头接口？
首先考虑线缆长度。MIPI CSI-2 适用于机械臂外壳内板对板的短距离传输。USB3 可以使用简单的线缆传输几米。千兆以太网可以跨越生产线传输，但必须考虑数据包抖动。首先根据传输距离选择合适的接口，然后再考虑分辨率和帧速率。
如何防止电机噪声干扰图像传输链？
将电缆屏蔽层在两端进行360°焊接。切勿将屏蔽层穿过引线。机柜内部的信号线和电源线应分开布线。降低MOSFET栅极驱动电流并缩小高电流回路面积。这些措施可以保护机器视觉在机械臂快速靠近摄像头时保持精度。
为什么校准漂移会导致机械臂随着时间的推移而损坏？
温度波动和振动会影响手眼变换。机械臂抓取物体时会产生逐渐增大的偏移。定期进行校准。增加振动和温度传感功能，用于预测性维护。通过静态工作台测试和基于ICP的动态点云测试进行验证。
何时应该选择传统的伺服算法而不是深度学习算法？
当单元校准良好且零件具有纹理时，选择经典伺服控制。此时，机械臂会执行一个可预测、可检查的循环。对于杂乱的环境、新颖的物体或光亮的零件，则选择深度学习姿态估计。许多团队会分工合作：人工智能模型进行检测，然后由简单的伺服律驱动机械臂。
