視覺識別和機械手臂協同工作在一個閉環系統中運作。攝影機監控工作空間，感知管道辨識每個物體及其姿態。然後，視覺伺服系統即時引導機械手臂運動。主要部件包括攝影機（或多個攝影機）、感知管道、姿態估計器、運動規劃器和控制器。這個閉環系統對硬體工程師和電子產品團隊至關重要，因為電路板級設計決定了其成敗。介面選擇、延遲、噪音和製造流程的權衡決定了實際的限制因素。其優點在於閉環精度、對零件位置變化的適應性以及更少的夾具。分析師預測，到2025年，該市場規模將達到3.89億美元，2027年至2035年的複合年增長率將達到11.2%。您將看到機器視覺、電腦視覺和視覺整合如何將機器人和視覺系統連接起來。精心設計的機械手臂會獲得回報，而偷工減料則會遭到懲罰。
關鍵要點
視覺系統和機械手臂協同工作，形成一個循環：攝影機發現物體，機械手臂移動到物體所在位置。
根據線纜長度選擇相機介面：MIPI CSI-2 用於短距離傳輸，USB3 用於幾米傳輸，GigE 用於長距離傳輸。
經常檢查和調整手眼協調能力，以防止偏差並保持準確性。
規劃從相機拍照到機械手臂移動的時間預算，以避免延誤。
避免馬達噪音幹擾相機線纜，以保持影像清晰。
機械手臂基礎知識與機器視覺控制
六自由度與手臂運動學
一個六軸關節機械手臂將其工具放置在三個平移自由度和三個旋轉自由度上。正向運動學透過關節變數計算末端執行器的位姿。你需要將基底座標係到工具座標系的變換連結起來。根據Denavit-Hartenberg約定，每個關節有四個參數：連桿長度、連桿扭轉角、連桿偏移和關節角度。將每個關節的齊次矩陣相乘即可得到基底座標係到工具座標系的變換。其左上角的3×3矩陣塊是旋轉矩陣，第四列的前三個元素給出了位置向量。
逆運動學則相反。它透過求解已知目標姿勢時的關節角度來進行計算。閉式解很少見，而且大多只適用於腕關節為球形的機械手臂。因此，大多數機械手臂都採用數值迭代法：
首先進行初始聯合猜測。
透過正向運動學計算當前姿態。
計算姿態誤差。
使用按步長縮放的雅可比偽逆來更新關節。
重複此過程，直到誤差低於容差範圍。
感知到行動控制迴路
整個流程分為五個階段：幀捕獲、偵測、姿態估計、規劃和控制。機器視覺提供原始畫面。電腦視覺和視覺識別將這些幀轉換為物體標識和六自由度姿態。規劃器將每個姿態轉換為關節軌跡，控制器驅動機械手臂沿著該軌跡移動。每個階段都會增加延遲，因此需要在捕獲幀時添加時間戳，並控制整個流程的延遲。
視覺整合通常將整合式攝影機直接安裝在末端執行器上。這種「眼在手」的佈局消除了夾爪附近的盲區，並簡化了校準過程。多攝影機視圖將感知範圍擴展到整個三維工作空間，有助於在雜亂的料箱中對零件進行複雜的操作和精確操作。同樣的架構可以從工業機器人和協作機器人擴展到協作機器人單元，在協作機器人單元中，第二個關節式機械手臂用於追蹤移動物體。機械手臂的設計者應將攝影機位置視為機械決策，因為安裝剛度對姿態精度的影響與演算法的影響同樣重要。
電腦視覺和目標識別技術
PBVS、IBVS 和混合視覺伺服
基於位置的視覺伺服（PBVS）利用機器視覺確定零件在三維空間中的位置，然後告訴機械手臂在笛卡爾空間中應該移動的方向。基於影像的視覺伺服（IBVS）則跳過這一步驟，直接根據影像特徵控制機械手臂的運動。混合方案則同時運行這兩個循環。
混合 2 1/2 維方案平衡了 IBVS 的局部穩定性與 PBVS 對精確姿態估計、校準和物體模型的依賴程度。
途徑
穩健性特徵
複雜
混合型（IBVS + PBVS）
手把具有遮蔽功能，並能補償里程計或滑移造成的姿態誤差。
更高：需要設計和調整兩個循環
傳染性支氣管炎病毒
依賴視覺回饋，而非內部里程計
下：單環
PBVS
需要精確的姿態估計、標定和物體模型
下：單環
當您擁有清晰的 CAD 模型和校準良好的單元時，請選擇 PBVS。當校準出現漂移或零件沒有紋理時，請選擇 IBVS。大多數生產中的機械手臂運行單循環。大多數研究實驗室中的機械手臂運行混合循環。混合設計適用於複雜操作，尤其是在遮蔽較常見的情況下。面對光亮零件的機械手臂也能從額外的回饋中獲益。
已發表的針對無紋理物體的試驗顯示了這一差距。基於關鍵點的擴展卡爾曼濾波（EKF）方法在正常條件下伺服成功率達到95.12%，在不利條件下達到82.61%。 IBVS+PVNet基線方法在正常條件下伺服成功率達到87.81%，在不利條件下達到52.17%。 PBVS+PVNet基線方法在正常條件下伺服成功率達到84.15%，在不利條件下達到40.58%。在兩種情況下，此方法均實現了最低的平移誤差、旋轉誤差和軌跡長度比。
用於檢測和姿態估計的深度學習
如今，深度學習承擔了視覺辨識流程中大部分的物件辨識工作。現代的估計器可以直接預測物體的寬度和角度。這樣一來，無需CAD模型，機械手臂就能獲得抓取姿態。
MegaPose：一種渲染比較管線，透過由粗到精的細化實現強大的零樣本性能。
FoundationPose：一個用於偵測、追蹤和估計新物體姿態的統一框架。
兩者都在 YCB-Video 測試集上運行。但來源並未提供它們在該測試集上的準確率數據。在更新的 6 自由度抓取資料集上，EfficientPose 的準確率達到了 97.05%，FFB6D 的準確率達到了 98.09%。
型號 | 報告的準確性 |
|---|---|
高效率姿態 |
|
FFB6D |
|
諸如 BOP 挑戰賽之類的基準測試推動了這一進展。它們使用 ADD 和 MSSD 等幾何指標對方法進行評分。
視覺語言模型和基於互動的視覺系統（IBVS）仍是新興的控制方向。應將其視為有前景的技術，而非成熟的技術。許多團隊將傳統的伺服控制與用於目標偵測的人工智慧模型結合。這種分離方式能夠維持控制迴路的可預測性。人工智慧在感知階段發揮的作用最大，電腦視覺和目標辨識技術可以處理雜亂的場景。目前，人工智慧在伺服迴路內部的價值有限。機器視覺供應商現在已將人工智慧模型整合到機器中，而電腦視覺庫則涵蓋了其餘部分。物流單元中的機械手臂仍需要快速、簡單的伺服控制律。僅靠模式辨識無法實現閉環控制。第二個機械手臂可以追蹤移動目標，在這種情況下，精確的時間控制比模型的大小更為重要。
視覺整合在視覺導引武器的應用
相機接口、校準和手眼協調
您選擇的攝影機介面決定了機械手臂單元的作業範圍和精確度。 MIPI CSI-2 適用於機械手臂內部的短距離闆對板通訊。 USB3 可以使用簡單的線纜傳輸幾公尺距離。千兆乙太網路可以覆蓋生產線的遠距離，但會增加資料包抖動，您必須對此進行規劃。選擇介面時，首先考慮線纜長度，其次考慮解析度和幀速率。
高速差分線對的佈線應保持對稱。 P 型和 N 型走線應位於相同的路徑上，並保持平衡的彎曲和過孔。保持發射器到接收器之間的間距恆定，並匹配 P 型和 N 型走線的長度以減少延遲偏差。線對應佈線在連續的接地層上，避免使用分割的接地層和銅箔切口。對於 USB 3.0 和類似鏈路，應將時延偏差控制在 25–50 ps 以內，並將差分阻抗保持在 90 Ω ± 10% 左右。交流耦合電容應對稱放置，並優先選擇 0402 等小型封裝。
手眼標定用於估計末端執行器座標系和相機座標系之間的變換。標準形式為 AX = XB，其中 A 和 B 分別表示機械手臂和相機在各幀之間的位姿，X 表示未知的變換。可以使用標定板法，此方法需要拍攝至少十張安裝在機械手臂上的標定板影像。點對列表法則無需在工件上安裝標定板即可進行標定。現在，自動標定程序只需少量人工幹預即可完成這些步驟。下圖展示了六種關節配置下的典型標定結果。
公制 | 專業筆譯 | 迴轉 |
|---|---|---|
最大RV（X，Y，Z） | 2.471毫米，毫米3.751，1.423毫米 | 0.957°，0.454°，0.702° |
平均房車 | 2.548 mm | 0.704° |
平均偏差（SD） | 0.930 mm | 0.265° |
透過對表格進行靜態測試和通過 ICP 登記變換後的點雲的動態測試進行驗證。
延遲預算和噪音隔離
規劃從幀捕獲到機械臂運動的延遲預算。在捕獲幀時為每一幀添加時間戳，然後加上檢測、姿態估計、規劃和總線延遲。 EtherCAT 為機械手臂控制器提供確定性的時序。
參數 | 典型的 EtherCAT 性能 |
|---|---|
循環時間（10軸伺服系統） | 100–250 微秒 |
抖動 | < 1 微秒 |
分散式時鐘同步精度 | 優於 100 奈秒 |
分散式時脈技術透過硬體保持所有從設備同步，從而確保在軟體負載下時序依然穩定。對於小型機械手臂上速度較慢的軸，CAN 總線仍然適用。
避免馬達驅動器雜訊幹擾影像傳輸鏈。將電纜屏蔽層在兩端進行360°焊接，切勿將屏蔽層穿過尾纖的汲極線。機櫃內部的訊號和電源佈線應分開。降低MOSFET閘極驅動速度並縮小高電流迴路面積，從源頭減少雜訊。這些措施可確保機器視覺在操作任務中的精確度。
對於可製造性設計 (DFM)，佈線前務必確認疊層結構，將走線幾何尺寸控制在 ±5 mil 以內，並與製造商協商阻抗容差。機器視覺整合成功的關鍵在於電路板佈局、校準和時序都受到同等重視。如果其中任何一項被忽視，視覺整合都將失敗。儘早規劃視覺集成，您的機械手臂就能在整個生產線上保持精度。
應用、挑戰與機器視覺解決方案
製造業和物流業的實際應用案例
視覺引導協作機器人廣泛應用於揀選放置單元、料箱清空以及生產線上的物件搜尋。 3D 攝影機能夠辨識小於 5 毫米的特徵，因此機械手臂可以清空裝滿零件的料箱，而不會抓取錯誤的零件。雙臂協作機器人可以追蹤移動物體，而人機協作單元則可以在人類和機械手臂之間傳遞零件。視覺整合帶來的效益是可以量化的：
揀選速度可達每小時 200 件以上，準確率超過 99.9%，放置精度接近 ±0.1 毫米。
分類準確率提高了近 25%–30%，尖峰時段的訂單履行速度也大幅提升。
錯誤率降低，您可以將員工調到更有價值的任務。
這些結果支持工業機器人和協作機器人的效率、可重複性和安全性。視覺引導的協作機器人還支援遠端操作和資料收集，這些資料可用於機器人機器學習資料管道。同樣的AI資料採集循環也用於訓練AI模型以執行複雜的操作。預計AI驅動的機械手臂在能夠獨立處理複雜操作之前，將依賴模仿學習和遠端操作。
常見故障模式及緩解策略
延遲、校準漂移、反射、遮蔽以及馬達雜訊洩漏到影像鏈中是造成大多數故障的原因。識別和路徑規劃每個週期需要 100-500 毫秒，僅此延遲就足以破壞緊密的伺服迴路。典型的工業抓取故障率約為每小時 2-8%，普通拾取放置的掉落率約為每小時 3-5%。硬形狀的物體會使峰值掉落率達到每小時 10-12%，而目標是低於每小時 0.1%。
新舊程度 | 對故障率的影響 |
|---|---|
每個循環中振動幅度超過 0.5g 或溫度波動超過 15°C。 | 高出 200–300% |
照明不穩定 | 深度誤差增加 40%–60%。 |
這些問題應該在電路板層級解決。屏蔽影像鏈路，360°焊接屏蔽罩，並確保馬達電源線遠離相機導軌。增加環境補償和預測性維護功能，例如振動和熱感。利用人工智慧模型進行機器視覺，可以即時預測抓取故障。電腦視覺負責故障檢測，而基於視覺的操作任務則可以受益於自適應抓取力控制。定期執行校準程序，並將視覺引導操作首先視為一個時序問題。
現在你對這個循環有了大致的了解。相機捕捉場景，視覺辨識系統將像素轉換成物體姿態，控制器則控制機械手臂沿著預定路徑移動。每個循環都透過回饋機製完成整個過程。
儘早考慮各種權衡取捨。傳統的伺服控制方式可預測性強，且檢查成本低。深度學習方法雖然能提供適應性，但需要消耗數據和運算資源。介面範圍、延遲預算和雜訊隔離相互制約，因此在佈局之前要確定優先順序。
密切注意視覺伺服學習、視覺語言模型和事件相機。視覺引導的協作機器人將受益於遠端操作和資料收集，而人工智慧模型將進一步推動複雜操作的發展。人工智慧不會取代你的時間預算。從一個校準過的單元開始，記錄每個循環，讓協作機器人技術在此基礎上發展。機械手臂獎勵嚴謹的操作。基於測量數據建構的機械手臂能夠自信地處理複雜操作。
常見問題
機械手臂單元應該選擇哪一種攝影機介面？
首先考慮線纜長度。 MIPI CSI-2 適用於機械手臂外殼內板對板的短距離傳輸。 USB3 可以使用簡單的線纜傳輸幾公尺。千兆乙太網路可以跨越生產線傳輸，但必須考慮資料包抖動。首先根據傳輸距離選擇合適的接口，然後再考慮解析度和幀速率。
如何防止馬達雜訊幹擾影像傳輸鏈？
將電纜屏蔽層在兩端進行360°焊接。切勿將屏蔽層穿過引線。機櫃內部的訊號線和電源線應分開佈線。降低MOSFET閘極驅動電流並縮小高電流迴路面積。這些措施可以保護機器視覺在機械手臂快速靠近攝影機時保持精確度。
為什麼校準漂移會導致機械手臂隨著時間的推移而損壞？
溫度波動和振動會影響手眼變換。機械手臂抓取物體時會產生逐漸增加的偏移。定期進行校準。增加振動和溫度感測功能，用於預測性維護。透過靜態工作台測試和基於ICP的動態點雲測試進行驗證。
何時應該選擇傳統的伺服演算法而不是深度學習演算法？
當單元校準良好且零件具有紋理時，選擇經典伺服控制。此時，機械手臂會執行一個可預測、可檢查的循環。對於雜亂的環境、新穎的物體或光亮的零件，則選擇深度學習姿勢估計。許多團隊會分工合作：人工智慧模型進行檢測，然後由簡單的伺服律驅動機械手臂。
