Система распознавания изображений и взаимодействие роботизированной руки работают в замкнутом контуре. Камеры следят за рабочим пространством, а система распознавания определяет каждый объект и его положение. Затем визуальное сервоуправление направляет руку в реальном времени. Основные компоненты — это камера или камеры, система распознавания, оценка положения, планировщик движения и контроллер. Этот контур важен для инженеров-разработчиков оборудования и команд, занимающихся разработкой электронных изделий, поскольку успех системы определяется на уровне проектирования печатной платы. Выбор интерфейса, задержка, шум и компромиссы в производстве устанавливают реальные ограничения. В результате достигается точность замкнутого контура, адаптивность к изменяющемуся положению деталей и сокращение количества крепежных элементов. Аналитики оценивают этот рынок в 3.89 млрд долларов США в 2025 году, с среднегодовым темпом роста 11.2% с 2027 по 2035 год. Вы увидите, как машинное зрение, компьютерное зрение и интеграция систем машинного зрения связывают робота и систему машинного зрения. Роботизированные руки поощряют тщательный дизайн, а роботизированные руки наказывают за упрощения.
Основные выводы
Системы машинного зрения и роботизированные манипуляторы работают в замкнутом цикле: камеры обнаруживают объекты, а манипулятор перемещается к ним.
Выбирайте интерфейс для вашей камеры в зависимости от длины кабеля: MIPI CSI-2 для коротких расстояний, USB3 для нескольких метров и GigE для больших расстояний.
Регулярно проверяйте и корректируйте зрительно-моторную координацию, чтобы предотвратить отклонения и сохранить точность.
Заранее спланируйте временной промежуток с момента съемки камерой до момента перемещения манипулятора, чтобы избежать задержек.
Чтобы изображение оставалось четким, избегайте попадания шума от мотора на кабели камеры.
Основы работы роботизированной руки и управление с помощью машинного зрения.
Шесть степеней свободы и кинематика руки
Шестиосевой шарнирный роботизированный манипулятор устанавливает свой инструмент в трех поступательных и трех вращательных степенях свободы. Прямая кинематика вычисляет положение концевого эффектора на основе переменных шарниров. Преобразования из базовой системы координат в систему координат инструмента связываются между собой. В соответствии с соглашением Денавита-Хартенберга, каждый шарнир имеет четыре параметра: длина звена, скручивание звена, смещение звена и угол шарнира. Умножение однородных матриц для каждого шарнира дает преобразование из базовой системы координат в систему координат инструмента. Его верхний левый блок 3×3 представляет собой матрицу вращения, а первые три элемента четвертого столбца дают вектор положения.
Обратная кинематика работает в обратном направлении. Она вычисляет углы сочленений, когда известно желаемое положение. Аналитические решения встречаются редко и в основном существуют для манипуляторов со сферическими запястьями. Поэтому большинство роботизированных манипуляторов используют численную итерацию:
Начнём с первоначального совместного предположения.
Вычислите текущее положение с помощью прямой кинематики.
Вычислите ошибку позиционирования.
Обновите суставы, используя псевдообратную матрицу Якоби, масштабированную с шагом определенного значения.
Повторяйте до тех пор, пока погрешность не окажется ниже допустимого уровня.
Петля управления «восприятие-действие»
Цикл замыкается в пять этапов: захват кадра, обнаружение, оценка позы, планирование и управление. Машинное зрение предоставляет исходные кадры. Компьютерное зрение и распознавание изображений преобразуют эти кадры в идентификаторы объектов и позы с 6 степенями свободы. Планировщик преобразует каждую позу в траекторию движения суставов, а контроллер управляет роботизированной рукой вдоль этой траектории. На каждом этапе добавляется задержка, поэтому необходимо указывать временные метки кадров при захвате и учитывать задержку на всем протяжении процесса.
Интеграция систем машинного зрения часто предполагает размещение камер непосредственно на концевом захвате. Такое расположение «глаз в руке» устраняет слепые зоны вблизи захвата и упрощает калибровку. Многокамерное изображение расширяет восприятие на все трехмерное рабочее пространство, что помогает в сложных манипуляциях и точном перемещении деталей в загроможденных контейнерах. Та же архитектура масштабируется от промышленных и коллаборативных роботов до коллаборативных роботизированных ячеек, где вторая шарнирная роботизированная рука отслеживает движущиеся объекты. Разработчикам роботизированных рук следует рассматривать размещение камер как механическое решение, поскольку жесткость крепления влияет на точность позиционирования так же сильно, как и алгоритм.
Методы компьютерного зрения и распознавания объектов
PBVS, IBVS и гибридное визуальное сервоуправление
Позиционно-ориентированное визуальное сервоуправление (PBVS) использует машинное зрение для определения местоположения детали в трехмерном пространстве. Затем оно указывает роботизированной руке, куда двигаться в декартовом пространстве. Позиционно-ориентированное визуальное сервоуправление на основе изображений (IBVS) пропускает этот шаг и перемещает роботизированную руку непосредственно по признакам изображения. Гибридные схемы запускают оба цикла одновременно.
Гибридные 2 1/2-мерные схемы обеспечивают баланс между локальной стабильностью IBVS и степенью зависимости PBVS от точной оценки позы, калибровки и моделей объектов.
Подход
Характеристики устойчивости
Многогранность
Гибрид (IBVS + PBVS)
Обрабатывает перекрытие объектов и компенсирует ошибки позиционирования, возникающие из-за одометрии или скольжения.
Более высокий уровень: две петли для проектирования и настройки.
ИБВС
Зависит от визуальной обратной связи, а не от внутренней одометрии.
Нижний: одинарный контур
ПБВС
Требуется точная оценка положения, калибровка и модели объектов.
Нижний: одинарный контур
Выбирайте PBVS, если у вас есть чистая CAD-модель и хорошо откалиброванная ячейка. Выбирайте IBVS, если калибровка сбивается или деталь не имеет текстуры. Большинство роботизированных манипуляторов в производстве работают по одному контуру. Большинство роботизированных манипуляторов в исследовательских лабораториях работают по гибридному принципу. Гибридные конструкции следует использовать для сложных манипуляций, где часто встречается перекрытие объектов. Роботизированные манипуляторы, работающие с блестящими деталями, также выигрывают от дополнительной обратной связи.
Опубликованные результаты испытаний на объектах без текстуры показывают разрыв. Метод EKF, основанный на ключевых точках, достиг 95.12% успешности сервоприводов в нормальных условиях и 82.61% в неблагоприятных условиях. Базовый показатель IBVS+PVNet достиг 87.81% и 52.17%. Базовый показатель PBVS+PVNet достиг 84.15% и 40.58%. Этот же метод показал наименьшую ошибку смещения, ошибку вращения и отношение длины траектории в обоих сценариях.
Глубокое обучение для обнаружения и оценки позы
В настоящее время глубокое обучение выполняет большую часть работы по распознаванию объектов в системах машинного зрения. Современные алгоритмы оценки напрямую предсказывают ширину и угол объекта. Полученные данные позволяют роботизированной руке определить положение для захвата без использования CAD-модели.
MegaPose: конвейер рендеринга и сравнения с высокой производительностью при нулевом предварительном обучении благодаря уточнению от грубого к точному.
FoundationPose: унифицированная платформа для обнаружения, отслеживания и оценки позы новых объектов.
Оба алгоритма работают на тестовом наборе данных YCB-Video. В источнике не приводятся данные о точности их работы. На более новом наборе данных для захвата объектов с 6 степенями свободы EfficientPose достиг 97.05%, а FFB6D — 98.09%.
Модель | Заявленная точность |
|---|---|
ЭффективнаяПоза | 97.05% |
ФФБ6Д | 98.09% |
Этот прогресс был обусловлен такими эталонными задачами, как конкурс BOP. В них методы оцениваются с помощью геометрических метрик, таких как ADD и MSSD.
Модели визуального языка и IBVS все еще находятся на стадии становления в качестве направлений управления. Их следует рассматривать как перспективные, а не проверенные. Многие команды сочетают классическое сервоуправление с моделями ИИ для обнаружения. Такое разделение обеспечивает предсказуемость контура управления. Искусственный интеллект наиболее эффективен на этапе восприятия, где компьютерное зрение и распознавание объектов обрабатывают помехи. Сегодня искусственный интеллект приносит меньше пользы внутри контура сервоуправления. Производители систем машинного зрения теперь поставляют модели ИИ на борту, а библиотеки компьютерного зрения покрывают остальное. Роботизированные манипуляторы в логистических ячейках по-прежнему нуждаются в быстром и простом законе сервоуправления. Одного распознавания образов недостаточно для замыкания контура. Второй роботизированный манипулятор может отслеживать движущуюся цель, и такая конфигурация больше ценит точность синхронизации, чем размер модели.
Интеграция систем машинного зрения в системы визуального наведения манипуляторов
Интерфейсы камеры, калибровка и зрительно-моторная координация.
Выбор интерфейса камеры определяет дальность действия и точность работы роботизированной ячейки. MIPI CSI-2 хорошо подходит для коротких участков между платами внутри корпуса манипулятора. USB3 обеспечивает передачу данных на несколько метров с помощью простых кабелей. GigE обеспечивает передачу данных на большие расстояния по производственной линии, но добавляет дрожание пакетов, которое необходимо учитывать. При выборе интерфейса сначала ориентируйтесь на длину кабеля, затем на разрешение и частоту кадров.
Прокладывайте высокоскоростные дифференциальные пары симметрично. Следите за тем, чтобы P- и N-трассы проходили по идентичным путям с симметричными изгибами и переходными отверстиями. Поддерживайте постоянное расстояние между передатчиком и приемником и подбирайте длины P- и N-трасс для уменьшения перекоса. Проводите пары над сплошной заземляющей плоскостью, избегая разделенных плоскостей и медных вырезов. Для USB 3.0 и аналогичных соединений поддерживайте перекос в пределах 25–50 пс и дифференциальное сопротивление около 90 Ом ± 10%. Размещайте конденсаторы переменного тока симметрично и отдавайте предпочтение небольшим корпусам, таким как 0402.
Калибровка «рука-глаз» оценивает преобразование между концевым манипулятором и кадром камеры. Стандартная форма — AX = XB, где A и B — положения манипулятора и камеры между кадрами, а X — неизвестное преобразование. Можно использовать метод калибровочной пластины, который предполагает получение не менее десяти изображений пластины, установленной на роботизированном манипуляторе. Метод списка пар точек работает и без пластины на рабочем объекте. В настоящее время автоматические процедуры калибровки выполняют эти шаги с минимальным участием оператора. Типичные результаты для шести конфигураций шарниров показаны ниже.
Метрика | Переводы | Вращение |
|---|---|---|
Максимальная случайная величина (X, Y, Z) | 2.471 мм, 3.751 мм, 1.423 мм | 0.957 °, 0.454 °, 0.702 ° |
Средний RV | 2.548 мм | 0.704° |
Среднее отклонение (SD) | 0.930 мм | 0.265° |
Проверьте результаты с помощью статического теста на таблице и динамического теста, регистрирующего преобразованные облака точек через ICP.
Планирование задержки и шумоизоляция
Спланируйте свой бюджет задержки от захвата кадра до движения манипулятора. При захвате каждого кадра добавляйте временные метки, затем учитывайте обнаружение, оценку положения, планирование и задержку шины. EtherCAT обеспечивает детерминированное время для контроллера роботизированного манипулятора.
Параметр | Типичные показатели производительности EtherCAT |
|---|---|
Время цикла (10 сервоосей) | 100–250 мкс |
Дрожание | <1 мкс |
Точность синхронизации распределенных часов | лучше, чем 100 нс |
Распределенные тактовые генераторы обеспечивают согласованность работы каждого ведомого устройства на аппаратном уровне, поэтому синхронизация сохраняется при программной нагрузке. Технология CAN остается подходящей для более медленных осей на небольших роботизированных манипуляторах.
Не допускайте попадания шума от драйвера двигателя в цепь обработки изображений. Заземляйте экраны кабелей на 360° с обоих концов и никогда не прокладывайте экран через дренажный провод пигтейла. Разделяйте сигнальную и силовую трассировку внутри шкафа. Замедлите управление затвором MOSFET и уменьшите площади сильноточных петель, чтобы снизить излучение в источнике. Эти меры защищают точность машинного зрения во время манипуляций.
Для обеспечения технологичности производства (DFM) подтвердите структуру слоев перед трассировкой, следите за геометрией дорожек в пределах ±5 мил и согласуйте допуски по импедансу с производителем. Интеграция машинного зрения успешна, когда одинаковое внимание уделяется компоновке печатной платы, калибровке и синхронизации. Интеграция машинного зрения терпит неудачу, если хотя бы один из этих аспектов рассматривается как второстепенный. Планируйте интеграцию машинного зрения на ранних этапах, и ваши роботизированные манипуляторы будут сохранять точность на протяжении всей линии.
Приложения, проблемы и решения в области машинного зрения.
Примеры практического применения в производстве и логистике.
Роботы-конкуренты с визуальным управлением используются в ячейках для захвата и перемещения, опорожнения контейнеров и поиска объектов на производственной линии. 3D-камера способна распознавать детали размером менее 5 мм, поэтому роботизированная рука может очистить переполненный контейнер, не захватив неправильную деталь. Двурукие коллаборативные роботы следуют за движущимися объектами, а в ячейках «человек-робот» детали передаются между человеком и рукой. Интеграция систем машинного зрения окупается измеримыми результатами:
Скорость комплектации превышает 200 единиц в час, точность составляет более 99.9%, а прецизионность размещения — около ±0.1 мм.
Точность сортировки повышается почти на 25–30%, а скорость выполнения заказов в часы пик значительно возрастает.
Уровень ошибок снижается, и вы можете перенаправить сотрудников на задачи, которые приносят больше пользы.
Эти результаты подтверждают эффективность, повторяемость и безопасность промышленных и коллаборативных роботов. Коботы с визуальным управлением также поддерживают дистанционное управление и сбор данных, которые поступают в конвейеры обработки данных для машинного обучения роботов. Тот же цикл сбора данных ИИ обучает модели ИИ для сложных манипуляций. Следует ожидать, что манипуляторы с искусственным интеллектом будут полагаться на обучение на основе имитации и дистанционное управление, прежде чем смогут самостоятельно выполнять сложные манипуляции.
Типичные виды отказов и стратегии их смягчения
Большинство сбоев вызваны задержкой, дрейфом калибровки, отражениями, перекрытием и проникновением шума двигателя в цепочку обработки изображений. Распознавание и планирование траектории занимают 100–500 мс за цикл, и одна только эта задержка нарушает работу точных сервоприводов. Типичные показатели отказов при захвате в промышленности составляют 2–8% в час, а показатели падений при обычных операциях захвата и перемещения — 3–5% в час. Твердые формы увеличивают пиковые показатели падений до 10–12% в час, тогда как целевой показатель составляет менее 0.1% в час.
Состояние | Влияние на частоту отказов |
|---|---|
Вибрация выше 0.5g или колебания температуры выше 15°C за цикл | на 200–300% выше |
Непостоянное освещение | Погрешность определения глубины на 40–60% выше. |
Эти проблемы следует решать на уровне платы. Защитите цепочку передачи изображения, соедините экраны на 360° и расположите линии питания двигателей отдельно от направляющих камеры. Добавьте компенсацию воздействия окружающей среды и прогнозируемое техническое обслуживание с помощью датчиков вибрации и температуры. Машинное зрение с использованием моделей ИИ прогнозирует отказы захвата в реальном времени. Компьютерное зрение отвечает за обнаружение, а задачи манипулирования на основе зрения выигрывают от адаптивного управления силой захвата. Соблюдайте график калибровочных процедур и рассматривайте манипулирование с помощью машинного зрения в первую очередь как проблему синхронизации.
Теперь у вас есть упрощенная картина замкнутого цикла. Камеры захватывают сцену, система распознавания изображений преобразует пиксели в положения объектов, а контроллер перемещает роботизированную руку по заданной траектории. Обратная связь замыкает круг в каждом цикле.
Заранее продумайте компромиссы. Классическое сервоуправление остается предсказуемым и недорогим в проверке. Методы глубокого обучения обеспечивают адаптивность, но требуют больших объемов данных и вычислительных ресурсов. Дальность действия интерфейса, допустимая задержка и шумоизоляция противоречат друг другу, поэтому определите приоритеты до начала проектирования.
Следите за освоенным визуальным сервоуправлением, моделями обработки изображений и событийными камерами. Коботы с визуальным управлением выиграют от телеуправления и сбора данных, а модели ИИ позволят еще больше упростить сложные манипуляции. Искусственный интеллект не заменит ваш временной бюджет. Начните с одной откалиброванной ячейки, регистрируйте каждый цикл и позволяйте коллаборативной робототехнике развиваться дальше. Роботизированные манипуляторы поощряют дисциплину. Роботизированные манипуляторы, созданные на основе измеренных данных, уверенно справляются со сложными манипуляциями.
FAQ
Какой интерфейс камеры следует выбрать для роботизированной манипуляторной ячейки?
Начните с длины кабеля. MIPI CSI-2 подходит для коротких участков между платами внутри корпуса ARM. USB3 покрывает несколько метров с помощью простых кабелей. GigE распространяется по производственной линии, но необходимо учитывать дрожание пакетов. Сначала подберите интерфейс в соответствии с расстоянием до платы, затем — с разрешением и частотой кадров.
Как исключить влияние шума от моторного двигателя на обработку изображения?
Проводите кабельные экраны по всему периметру (360°) с обоих концов. Никогда не прокладывайте экран через дренажный провод пигтейла. Разделяйте сигнальную и силовую трассировку внутри шкафа. Замедлите управление затвором MOSFET и уменьшите площади сильноточных петель. Эти меры защищают точность машинного зрения при быстром перемещении роботизированной руки вблизи камеры.
Почему со временем дрейф калибровки приводит к поломке роботизированной руки?
Перепады температуры и вибрация смещают преобразование «рука-глаз». Затем роботизированная рука захватывает объект с возрастающим смещением. Необходимо регулярно проводить калибровку. Для прогнозирующего технического обслуживания следует добавить датчики вибрации и температуры. Проверка может быть проведена с помощью статического стендового теста и динамического теста облака точек методом ICP.
В каких случаях следует отдавать предпочтение классическому сервоуправлению, а в каких — глубокому обучению?
Если ячейка хорошо откалибрована и деталь имеет текстуру, выбирайте классическое сервоуправление. В этом случае роботизированная рука будет выполнять предсказуемый, проверяемый цикл. Для объектов с помехами, новых объектов или блестящих деталей выбирайте оценку положения с помощью глубокого обучения. Многие команды делят работу: модели ИИ обнаруживают объекты, а простой закон сервоуправления приводит в движение роботизированную руку.
