비전 인식과 로봇 팔의 협업은 폐쇄 루프 방식으로 작동합니다. 카메라가 작업 공간을 감시하고, 인식 파이프라인이 각 객체와 그 자세를 찾아냅니다. 그런 다음 시각 서보 제어 시스템이 실시간으로 로봇 팔을 제어합니다. 주요 구성 요소는 카메라, 인식 파이프라인, 자세 추정, 모션 플래너, 그리고 컨트롤러입니다. 이 폐쇄 루프는 하드웨어 엔지니어와 전자 제품 팀에게 매우 중요합니다. 보드 레벨 설계가 성공 여부를 결정하기 때문입니다. 인터페이스 선택, 지연 시간, 노이즈, 그리고 제조상의 절충안이 실제적인 한계를 설정합니다. 이러한 시스템의 장점은 폐쇄 루프의 정확성, 변화하는 부품 위치에 대한 적응성, 그리고 고정 장치 사용 감소입니다. 분석가들은 이 시장의 가치를 2025년에는 38억 9천만 달러로 평가하며, 2027년부터 2035년까지 연평균 11.2%의 성장률을 예상합니다. 머신 비전, 컴퓨터 비전, 그리고 비전 통합이 로봇과 비전 시스템을 어떻게 연결하는지 살펴보겠습니다. 로봇 팔은 세심한 설계에 따라 성능이 향상되지만, 설계상의 편법은 오히려 성능 저하를 초래할 수 있습니다.
주요 요점
비전 시스템과 로봇 팔은 서로 연동하여 작동합니다. 카메라가 물체를 감지하면 로봇 팔이 그쪽으로 움직입니다.
케이블 길이에 따라 카메라 인터페이스를 선택하세요. 짧은 거리에는 MIPI CSI-2, 몇 미터 거리에는 USB3, 장거리에는 GigE가 적합합니다.
손과 눈의 협응력을 자주 확인하고 조정하여 오차 발생을 방지하고 정확도를 유지하십시오.
카메라가 사진을 찍는 순간부터 로봇 팔이 움직이는 순간까지의 시간 예산을 미리 계획하여 지연을 방지하세요.
모터 소음이 카메라 케이블에 닿지 않도록 하여 선명한 이미지를 유지하십시오.
로봇 팔 기본 원리 및 머신 비전 제어
6자유도와 팔 운동학
6축 관절 로봇 팔은 3개의 병진 자유도와 3개의 회전 자유도로 도구를 배치합니다. 순방향 운동학은 관절 변수로부터 엔드 이펙터의 자세를 계산합니다. 기준 좌표계에서 도구 좌표계로의 변환을 연결합니다. 데나빗-하텐베르크 규칙에 따라 각 관절은 링크 길이, 링크 비틀림, 링크 오프셋 및 관절 각도의 네 가지 매개변수를 가집니다. 각 관절의 동차 행렬을 곱하면 기준 좌표계에서 도구 좌표계로의 변환이 얻어집니다. 이 변환의 좌측 상단 3×3 블록은 회전 행렬이고, 네 번째 열의 처음 세 요소는 위치 벡터를 나타냅니다.
역기구학은 그 반대 방향으로 진행됩니다. 원하는 자세를 알고 있을 때 관절 각도를 구하는 것입니다. 폐쇄형 해법은 드물고 대부분 손목이 구형인 로봇 팔에 대해서만 존재합니다. 따라서 대부분의 로봇 팔은 수치적 반복법을 사용합니다.
먼저 초기 공동 추측부터 시작하세요.
순방향 운동학을 통해 현재 자세를 계산합니다.
자세 오차를 계산합니다.
단계 크기만큼 스케일링된 야코비 유사역행렬을 사용하여 조인트를 업데이트합니다.
오차가 허용 오차 이하로 떨어질 때까지 반복합니다.
인지-행동 제어 루프
이 과정은 프레임 캡처, 객체 감지, 자세 추정, 계획 수립, 제어의 다섯 단계로 구성됩니다. 머신 비전은 원시 프레임을 제공하고, 컴퓨터 비전과 비전 인식 기술은 이러한 프레임을 객체 식별 정보와 6자유도 자세 정보로 변환합니다. 계획기는 각 자세를 관절 궤적으로 변환하고, 제어기는 로봇 팔을 해당 궤적을 따라 움직입니다. 각 단계마다 지연이 발생하므로 프레임 캡처 시 타임스탬프를 기록하고 전체 과정의 지연 시간을 고려해야 합니다.
비전 통합은 종종 통합 카메라를 최종 작동기에 직접 장착합니다. 이러한 '손 안의 눈' 구조는 그리퍼 주변의 사각지대를 제거하고 보정을 간소화합니다. 멀티 카메라 뷰는 인식 범위를 전체 3D 작업 공간으로 확장하여 복잡한 조작과 어수선한 상자 안의 부품들을 정밀하게 조작하는 데 도움을 줍니다. 이러한 아키텍처는 산업용 로봇과 협동 로봇에서부터 두 번째 관절형 로봇 팔이 움직이는 물체를 추적하는 협동 로봇 셀에 이르기까지 확장 가능합니다. 로봇 팔 설계자는 카메라 배치 위치를 기계적인 결정으로 고려해야 합니다. 장착 강성은 알고리즘만큼이나 자세 정확도에 큰 영향을 미치기 때문입니다.
컴퓨터 비전 및 객체 인식 기술
PBVS, IBVS 및 하이브리드 시각 서보잉
위치 기반 시각 서보 제어(PBVS)는 머신 비전을 사용하여 3D 공간에서 부품의 위치를 파악합니다. 그런 다음 로봇 팔이 직교 좌표계에서 어디로 이동해야 하는지를 알려줍니다. 이미지 기반 시각 서보 제어(IBVS)는 이 단계를 생략하고 이미지 특징을 기반으로 로봇 팔을 직접 이동시킵니다. 하이브리드 방식은 두 가지 방식을 동시에 실행합니다.
하이브리드 2 1/2-D 방식은 IBVS의 국소적 안정성과 PBVS가 정확한 자세 추정, 보정 및 객체 모델에 얼마나 의존하는지 사이의 균형을 맞춥니다.
접근
견고성 특성
복잡성
하이브리드(IBVS + PBVS)
특징부 가림 현상을 처리하고 주행 거리 측정이나 미끄러짐으로 인한 자세 오류를 보정합니다.
더 높은 단계: 설계 및 조정을 위한 두 개의 루프
IBVS
내부 주행 거리계가 아닌 시각적 피드백에 의존합니다.
아래쪽: 단일 루프
PBVS
정확한 자세 추정, 보정 및 객체 모델이 필요합니다.
아래쪽: 단일 루프
CAD 모델이 깨끗하고 셀 보정이 잘 되어 있을 때는 PBVS를 선택하십시오. 보정값이 변동되거나 부품에 표면 질감이 없을 때는 IBVS를 선택하십시오. 생산 현장의 로봇 팔은 대부분 단일 루프로 작동합니다. 연구실의 로봇 팔은 대부분 하이브리드 루프로 작동합니다. 하이브리드 설계는 복잡한 조작이나 가려짐 현상이 흔한 경우에 사용하는 것이 좋습니다. 광택이 있는 부품을 다루는 로봇 팔도 추가적인 피드백을 통해 이점을 얻을 수 있습니다.
텍스처가 없는 객체에 대한 기존 연구 결과는 성능 격차를 보여줍니다. 키포인트 기반 EKF(확장 칼만 필터) 방식은 정상 조건에서 95.12%, 불리한 조건에서 82.61%의 서보 제어 성공률을 달성했습니다. IBVS+PVNet 기준 모델은 각각 87.81%와 52.17%를, PBVS+PVNet 기준 모델은 84.15%와 40.58%를 기록했습니다. 동일한 방식이 두 시나리오 모두에서 가장 낮은 변환 오차, 회전 오차 및 궤적 길이 비율을 보였습니다.
딥러닝을 이용한 객체 탐지 및 자세 추정
딥러닝은 이제 컴퓨터 비전 인식 파이프라인에서 대부분의 객체 인식 작업을 수행합니다. 최신 추정기는 객체의 너비와 각도를 직접 예측합니다. 이러한 출력은 CAD 모델 없이도 로봇 팔에 객체를 잡는 자세를 제공합니다.
MegaPose: 세밀한 조정을 통해 뛰어난 제로샷 성능을 제공하는 렌더링 및 비교 파이프라인.
FoundationPose: 새로운 객체에 대한 감지, 추적 및 자세 추정을 위한 통합 프레임워크.
두 모델 모두 YCB-Video 테스트 세트에서 실행되었습니다. 출처에는 해당 테스트 세트에서의 정확도 수치는 나와 있지 않습니다. 최신 6-DoF 파지 데이터 세트에서는 EfficientPose가 97.05%, FFB6D가 98.09%의 정확도를 기록했습니다.
모델 | 보고된 정확도 |
|---|---|
효율적인 포즈 | 97.05% |
FFB6D | 98.09% |
BOP 챌린지와 같은 벤치마크가 이러한 발전을 촉진했습니다. 이러한 벤치마크는 ADD 및 MSSD와 같은 기하학적 지표를 사용하여 방법을 평가합니다.
비전-언어 모델과 IBVS는 여전히 발전 중인 제어 분야입니다. 검증된 기술이 아니라 유망한 기술로 간주해야 합니다. 많은 팀들이 기존 서보 제어 방식에 AI 모델을 결합하여 객체 탐지에 활용하고 있습니다. 이러한 분리 덕분에 제어 루프의 예측 가능성이 높아집니다. 인공지능은 컴퓨터 비전과 객체 인식 기술이 복잡한 상황을 처리하는 인지 단계에서 가장 큰 도움을 줍니다. 현재로서는 서보 루프 내부에서 인공지능이 제공하는 가치는 상대적으로 적습니다. 머신 비전 업체들은 이제 AI 모델을 내장하여 제공하고 있으며, 컴퓨터 비전 라이브러리가 나머지 부분을 담당하고 있습니다. 물류 셀의 로봇 팔은 여전히 빠르고 간단한 서보 법칙을 필요로 합니다. 패턴 인식만으로는 완벽한 제어 루프를 구현할 수 없습니다. 두 번째 로봇 팔은 움직이는 목표물을 추적할 수 있으며, 이러한 구성에서는 모델 크기보다는 정확한 타이밍이 더 중요합니다.
비전 유도 로봇 팔을 위한 비전 통합
카메라 인터페이스, 보정 및 손과 눈의 협응
선택하는 카메라 인터페이스는 로봇 팔 셀의 도달 거리와 정밀도를 결정합니다. MIPI CSI-2는 로봇 팔 하우징 내부의 짧은 보드 간 연결에 적합합니다. USB3는 간단한 케이블로 몇 미터 거리까지 지원합니다. GigE는 생산 라인 전체에 걸쳐 장거리 전송이 가능하지만, 패킷 지터가 발생하므로 이를 고려해야 합니다. 인터페이스는 케이블 길이를 최우선으로 고려한 다음 해상도와 프레임 속도를 고려하여 선택하십시오.
고속 차동 쌍은 대칭적으로 배선해야 합니다. P 및 N 트레이스는 동일한 경로에 배치하고, 굽힘과 비아를 균형 있게 조정해야 합니다. 송신기와 수신기 사이의 간격을 일정하게 유지하고, P 및 N 트레이스의 길이를 일치시켜 스큐를 최소화해야 합니다. 차동 쌍은 연속적인 접지면 위에 배선하고, 분할 접지면이나 구리 절단부를 피해야 합니다. USB 3.0 및 유사 링크의 경우, 스큐는 25~50ps 이내로 유지하고 차동 임피던스는 90Ω ± 10% 근처로 유지해야 합니다. AC 커플링 커패시터는 대칭적으로 배치하고, 0402와 같은 소형 패키지를 사용하는 것이 좋습니다.
핸드아이 캘리브레이션은 엔드 이펙터와 카메라 프레임 간의 변환을 추정합니다. 표준 공식은 AX = XB이며, 여기서 A와 B는 프레임 간의 로봇 팔과 카메라 포즈이고 X는 미지의 변환입니다. 로봇 팔에 장착된 플레이트의 이미지를 최소 10장 이상 촬영하는 캘리브레이션 플레이트 방법을 사용할 수 있습니다. 플레이트 없이 작업물을 캘리브레이션하는 방법은 포인트 페어 리스트 방법을 사용할 수 있습니다. 이제 자동 캘리브레이션 루틴은 작업자의 입력을 최소화하면서 이러한 단계를 수행합니다. 6가지 관절 구성에 대한 일반적인 결과는 아래에 나와 있습니다.
메트릭 | 번역 | 회전 |
|---|---|---|
최대 RV(X, Y, Z) | 2.471 mm, 3.751 mm, 1.423 mm | 0.957 °, 0.454 °, 0.702 ° |
평균 RV | 2.548 mm | 0.704 ° |
평균 편차(SD) | 0.930 mm | 0.265 ° |
테이블에 대한 정적 테스트와 ICP를 통해 변환된 포인트 클라우드를 등록하는 동적 테스트를 통해 유효성을 검증합니다.
지연 시간 예산 책정 및 노이즈 차단
프레임 캡처부터 로봇 팔 동작까지의 지연 시간을 계획하세요. 캡처 시 모든 프레임에 타임스탬프를 찍고, 여기에 감지, 자세 추정, 계획 수립 및 버스 지연 시간을 더하세요. EtherCAT은 로봇 팔 컨트롤러에 결정론적 타이밍을 제공합니다.
매개 변수 | 일반적인 EtherCAT 성능 |
|---|---|
사이클 시간 (서보 축 10개) | 100~250마이크로초 |
지터 | < 1µs |
분산 클럭 동기화 정확도 | 100나노초보다 더 좋음 |
분산형 클럭은 하드웨어에서 모든 슬레이브의 클럭을 정렬하여 소프트웨어 부하에서도 타이밍이 유지되도록 합니다. CAN은 소형 로봇 팔의 저속 축에서도 문제없이 작동합니다.
모터 드라이버 노이즈가 이미지 체인에 유입되지 않도록 하십시오. 케이블 차폐는 양쪽 끝에서 360°로 본딩하고, 피그테일 드레인 와이어에 차폐선을 연결하지 마십시오. 캐비닛 내부에서 신호와 전원 배선을 분리하십시오. MOSFET 게이트 구동 속도를 낮추고 고전류 루프 영역을 축소하여 노이즈 발생을 원천적으로 줄이십시오. 이러한 조치는 조작 작업 중 머신 비전의 정확도를 보호합니다.
DFM(설계 제조성 검토)을 위해서는 배선 전에 스택업을 확인하고, 트레이스 형상을 ±5mil 이내로 유지하며, 제조 업체와 임피던스 허용 오차에 대해 협의해야 합니다. 머신 비전 통합은 보드 레이아웃, 캘리브레이션, 타이밍에 모두 동등한 주의를 기울일 때 성공적입니다. 이 중 어느 하나라도 소홀히 여겨지면 비전 통합은 실패합니다. 비전 통합을 조기에 계획하면 로봇 팔이 생산 라인 전체에서 정확도를 유지할 수 있습니다.
응용 분야, 과제 및 머신 비전 솔루션
제조 및 물류 분야의 실제 활용 사례
비전 유도 협동 로봇은 제품 집게질, 적재함 비우기, 생산 라인에서 물체 찾기 등의 작업에 활용됩니다. 3D 카메라는 5mm보다 작은 특징까지 식별할 수 있어 로봇 팔이 잘못된 부품을 집지 않고 가득 찬 적재함을 비울 수 있습니다. 양팔 협동 로봇은 움직이는 물체를 따라가고, 인간-로봇 협동 작업팀은 사람과 로봇 팔 사이에서 부품을 전달합니다. 비전 통합은 다음과 같은 측정 가능한 방식으로 이점을 제공합니다.
시간당 200개 이상의 품목을 빠르게 집어 올릴 수 있으며, 정확도는 99.9% 이상이고 배치 정밀도는 ±0.1mm에 가깝습니다.
분류 정확도가 거의 25~30% 향상되고, 피크 시간대의 주문 처리 속도가 크게 빨라집니다.
오류율이 감소하고, 작업자를 더 높은 가치를 창출하는 작업으로 이동시킬 수 있습니다.
이러한 결과는 산업용 로봇과 협동 로봇 전반에 걸쳐 효율성, 반복성 및 안전성을 뒷받침합니다. 비전 유도 협동 로봇은 원격 조작 및 데이터 수집도 지원하며, 이는 로봇 머신 러닝 데이터 파이프라인에 활용됩니다. 동일한 AI 데이터 수집 루프는 복잡한 조작을 위한 AI 모델을 학습하는 데 사용됩니다. AI 기반 로봇 팔은 복잡한 조작을 스스로 처리하기 전에 모방 학습과 원격 조작에 의존할 것으로 예상됩니다.
일반적인 고장 모드 및 완화 전략
지연 시간, 보정 오차, 반사, 가림 현상, 그리고 모터 노이즈가 이미지 체인에 유입되는 것이 대부분의 오류 원인입니다. 인식 및 경로 계획에는 주기당 100~500ms가 소요되는데, 이 지연 시간만으로도 정밀한 서보 루프가 깨집니다. 일반적인 산업용 파지 장치의 고장률은 시간당 2~8%이며, 일반적인 픽앤플레이스 낙하율은 시간당 3~5%입니다. 특히 복잡한 형상의 물체를 파지할 경우 낙하율이 시간당 10~12%까지 치솟는데, 목표치는 시간당 0.1% 미만입니다.
상태 | 실패율에 미치는 영향 |
|---|---|
진동이 0.5g를 초과하거나 온도 변화가 주기당 15°C를 초과하는 경우 | 200~300% 더 높음 |
불규칙적인 조명 | 깊이 오차가 40~60% 더 높음 |
보드 레벨에서 이러한 문제를 해결해야 합니다. 이미지 체인을 차폐하고, 360° 방향으로 차폐재를 접합하며, 모터 전원 라인과 카메라 레일을 분리하십시오. 진동 및 열 감지를 통해 환경 보정 및 예측 유지보수 기능을 추가하십시오. AI 모델을 사용하는 머신 비전은 그립 실패를 실시간으로 예측합니다. 컴퓨터 비전은 감지를 처리하고, 비전 기반 조작 작업은 적응형 그립력 제어를 통해 효율성을 높입니다. 보정 루틴을 정기적으로 수행하고, 비전 유도 조작은 우선적으로 타이밍 문제로 접근해야 합니다.
이제 이 과정을 간단하게 이해하셨을 겁니다. 카메라가 장면을 촬영하고, 시각 인식 기술이 픽셀을 객체의 자세로 변환하며, 컨트롤러가 계획된 경로를 따라 로봇 팔을 움직입니다. 피드백을 통해 매 주기마다 이 과정이 완성됩니다.
설계 초기 단계부터 장단점을 고려해야 합니다. 기존 서보 제어 방식은 예측 가능하고 점검 비용이 저렴합니다. 딥러닝 방식은 적응성이 뛰어나지만 데이터와 연산 능력이 많이 소모됩니다. 인터페이스 도달 거리, 지연 시간 허용 범위, 노이즈 차단은 서로 상충되므로 레이아웃 설계 전에 우선순위를 정해야 합니다.
학습된 시각 서보 제어, 비전-언어 모델, 이벤트 카메라를 주시하십시오. 비전 유도 협동 로봇은 원격 조작과 데이터 수집을 통해 성능을 향상시킬 수 있으며, AI 모델은 더욱 복잡한 조작을 가능하게 할 것입니다. 하지만 인공지능이 타이밍 예산을 대체할 수는 없습니다. 보정된 셀 하나로 시작하여 모든 사이클을 기록하고, 이를 기반으로 협동 로봇 공학을 발전시켜 나가십시오. 로봇 팔은 규율을 통해 발전합니다. 측정된 데이터를 기반으로 구축된 로봇 팔은 복잡한 조작을 안정적으로 처리합니다.
FAQ
로봇 팔 셀에 어떤 카메라 인터페이스를 선택해야 할까요?
먼저 케이블 길이를 확인하세요. MIPI CSI-2는 로봇 팔 하우징 내부의 짧은 보드 간 연결에 적합합니다. USB3는 간단한 케이블로 몇 미터까지 연결할 수 있습니다. 기가비트 이더넷(GigE)은 생산 라인 전체에 연결할 수 있지만 패킷 지터를 고려해야 합니다. 먼저 연결 거리를 고려하여 인터페이스를 선택한 다음 해상도와 프레임 속도를 고려하세요.
영상 처리 과정에서 모터 노이즈를 제거하려면 어떻게 해야 할까요?
케이블의 양쪽 끝을 360°로 본딩하여 차폐하십시오. 절대로 피그테일 드레인 와이어에 차폐선을 통과시키지 마십시오. 캐비닛 내부에서 신호와 전원 배선을 분리하십시오. MOSFET 게이트 구동 속도를 낮추고 고전류 루프 영역을 축소하십시오. 이러한 조치는 로봇 팔이 카메라 근처에서 빠르게 움직일 때 머신 비전의 정확도를 보호합니다.
보정 오차가 시간이 지남에 따라 로봇 팔을 고장내는 이유는 무엇일까요?
온도 변화와 진동은 손과 눈 사이의 변환을 변화시키고, 이로 인해 로봇 팔의 파지 동작 시 오프셋이 점점 커집니다. 따라서 정기적인 교정 작업을 수행해야 합니다. 예측 유지보수를 위해 진동 및 온도 감지 기능을 추가하고, 정적 테이블 테스트와 ICP를 이용한 동적 포인트 클라우드 테스트를 통해 검증해야 합니다.
어떤 상황에서 기존 서보 제어 방식과 딥러닝 방식을 선택해야 할까요?
셀이 잘 보정되어 있고 부품에 질감이 있는 경우에는 고전적인 서보 제어 방식을 선택하십시오. 그러면 로봇 팔이 예측 가능하고 검증 가능한 루프를 실행합니다. 복잡한 환경, 새로운 물체 또는 광택이 있는 부품에는 딥러닝 기반의 자세 추정 방식을 선택하십시오. 많은 팀에서 작업을 분담합니다. AI 모델은 물체를 감지하고, 간단한 서보 제어 법칙이 로봇 팔을 구동합니다.
