Представьте, что пуля пробивает хрустящее яблоко. Вы моргнете — и промахнетесь. Обычные камеры не могут запечатлеть этот мимолетный момент. Высокоскоростная фотосъемка меняет все. Эта технология записывает события, происходящие слишком быстро для ваших глаз, «замораживая» время, чтобы показать скрытые детали.
Представьте себе камеру, которая запечатлела эту пулю. Она развивала максимальную скорость 150 000 кадров в секунду . Для такой скорости требовалось специальное освещение, чтобы правильно экспонировать каждый кадр.
Высокоскоростная камера, использованная для съёмки попадания пули в яблоко, достигала 150 000 кадров в секунду, и для запечатления этого события требовалось специальное освещение.
Вам необходимо освоить основы. Частота кадров, выдержка и компромиссы в освещении имеют значение. Вам также нужно уметь обрабатывать огромные объемы данных. Эта высокоскоростная технология обработки изображений помогает в науке, промышленности и спортивном анализе.
Основные выводы
Высокоскоростная съемка позволяет фиксировать события, происходящие слишком быстро для человеческого глаза, при этом частота кадров начинается с 250 кадров в секунду и достигает миллионов кадров в секунду в специализированных системах.
Для более высокой частоты кадров требуется более яркое освещение и более короткая выдержка, чтобы изображения не получались размытыми или слишком темными.
Высокоскоростная съемка генерирует огромные объемы данных, поэтому быстрая обработка и сжатие имеют ключевое значение для практического применения.
Высокоскоростные камеры помогают заводам лучше контролировать качество, сокращая количество дефектов до 90%, а также улучшают анализ спортивных соревнований, отображая точные движения.
Новые технологии, такие как камеры, работающие на основе событий, и обработка данных с помощью искусственного интеллекта, упрощают использование высокоскоростной съемки и расширяют ее возможности.
Основы высокоскоростной съемки изображений
Частота кадров и выдержка — это основные параметры высокоскоростной съемки. Частота кадров — это количество снимков, которые ваша камера делает за секунду. Она измеряется в кадрах в секунду (FPS). Выдержка — это время, в течение которого сенсор собирает свет для одного снимка. Эти два параметра вместе определяют, что вы можете запечатлеть.
Частота кадров и время экспозиции
Частота кадров вашей камеры зависит от двух факторов: времени экспозиции и времени считывания. Время считывания — это время, необходимое сенсору для отправки данных после экспозиции. Когда время обработки одного кадра превышает сумму времени экспозиции и считывания, каждый цикл завершается до начала следующего. Этот режим без перекрытия проще, но замедляет работу. В режиме с перекрытием начинается следующая экспозиция, пока считывается предыдущий кадр. Это значительно увеличивает эффективную частоту кадров.
Для разных задач требуются разные скорости. В таблице ниже показана типичная частота кадров для распространенных ситуаций.
Сценарий применения | Типичная частота кадров |
|---|---|
Стандартный мониторинг | 30 кадров в секунду |
Проверка средней скорости | 60 кадров в секунду |
Высокоскоростное производство | 120 кадров в секунду |
Специализированные приложения | 250+ fps |
Например, упаковочной линии, движущейся со скоростью 10 метров в секунду, требуется не менее 60 кадров в секунду. Это позволяет получать четкие изображения каждого продукта для контроля качества в режиме реального времени. Для контроля качества электроники и печатных плат часто требуется 60 кадров в секунду и более, чтобы помочь операторам контролировать процесс.
Научные исследования еще больше расширяют эти границы. Базовая высокоскоростная съемка начинается с 250 кадров в секунду при выдержке менее 1/1000 секунды. Коммерческие системы, такие как Mega Speed Max-V3, могут достигать 3000 кадров в секунду при выдержке 75 микросекунд. Усовершенствованные системы на основе ПЗС-матриц могут достигать 25 миллионов кадров в секунду.
Компромисс между скоростью и светом
Когда камера делает снимок, этот снимок не запечатлевает отдельный момент времени. Он показывает сцену на протяжении всего времени экспозиции. Движущиеся объекты выглядят размытыми или смазанными в направлении своего движения.
Размытие в движении возникает, когда объект сильно движется во время экспозиции. Более длительная выдержка приводит к большему размытию. Более короткая выдержка позволяет зафиксировать движение, но требует больше света. При 25 700 кадрах в секунду максимальная выдержка составляет 39 микросекунд. При 1 миллионе кадров в секунду она сокращается до 733 наносекунд. Для этих крошечных окон экспозиции требуется очень яркий свет, чтобы избежать темных, бесполезных кадров.
Скорость захвата изображения также зависит от разрешения. Более высокая частота кадров увеличивает поток данных, что ограничивает количество пикселей . Подсветка с обратной стороны помогает, увеличивая площадь, улавливающую фотоны. Это позволяет датчикам достигать 76 000 кадров в секунду при полном разрешении, потребляя при этом меньше света. Необходимо найти баланс между скоростью, разрешением и освещением в зависимости от потребностей вашего приложения.
Ключевые компоненты и технологии
Высокоскоростные камеры и датчики
Датчик вашей камеры преобразует свет в электрические сигналы. Существует два основных типа: CCD и CMOS . CCD-датчики обеспечивают высокое качество изображения. CMOS-датчики позволяют быстро получать снимки. В условиях низкой освещенности многослойные CMOS-датчики с задней подсветкой считывают данные быстрее и уменьшают искажения, вызванные эффектом «роллинг-шаттера». Некоторые sCMOS-датчики с задней подсветкой достигают квантовой эффективности более 95% при 100% коэффициенте заполнения, что означает, что они улавливают почти каждый попадающий на них фотон. Эти датчики высокого разрешения также обеспечивают до 82 кадров в секунду при полном разрешении.
Вычислительная мощность имеет такое же значение, как и сам сенсор. FPGA и GPU ускоряют обработку изображений разными способами. FPGA, изготовленная по 28-нм техпроцессу, обеспечивает в 22 раза большую энергоэффективность, чем настольный GPU, если учитывать количество кадров в секунду, энергопотребление и загрузку транзисторов. Для решения конкретных задач FPGA обеспечивают ускорение до 8 раз для кластеризации методом k-средних. Они также работают в 57 раз эффективнее, чем процессор ARM Cortex-A7, и в 28 раз эффективнее, чем графический процессор nVIDIA GeForce GTX980. Микропроцессор Renesas RZ/A2M сочетает в себе динамически реконфигурируемый процессор и процессор Arm Cortex-A9. Он обеспечивает в 10 раз большую производительность обработки изображений по сравнению со своим предшественником при очень низком энергопотреблении, что делает его идеальным для устройств с батарейным питанием.
Системы освещения и управления
Освещение определяет, насколько качественное изображение, полученное на высокой скорости, позволит запечатлеть полезные детали. Светодиоды — лучший выбор, поскольку они отличаются энергоэффективностью, долговечностью и стабильным световым потоком с регулируемой цветовой температурой. Различные схемы освещения служат разным целям. Кольцевые лампы устраняют направленные тени. Подсветка сзади обеспечивает точное определение краев для измерения размеров. Освещение в темном поле позволяет выявлять микроцарапины на плоских поверхностях. При скорости контроля выше 300 мм/с даже 5-миллисекундная выдержка приводит к размытию изображения из-за движения, если свет не мигает интенсивно в пределах окна затвора.
Синхронизация запуска камеры с освещением и другими компонентами обеспечивает их согласованную работу. Аппаратные триггеры, такие как TTL-импульсы через кабели BNC, позволяют осуществлять высокоскоростное и высокоточное управление без использования программного обеспечения. Входные режимы запуска позволяют внешнему оборудованию запускать экспозицию. Выходные режимы запуска позволяют камере управлять внешними устройствами, например, четырьмя отдельными источниками света через выходы Expose Out 1–4. Эта синхронизация жизненно важна для приложений машинного зрения, где точное время экспозиции предотвращает размытие изображения из-за движения и пропуск кадров. Для высокоскоростной съемки правильное срабатывание триггера гарантирует, что каждый кадр будет запечатлен в нужный момент.
Высокоскоростная обработка изображений и данных.
Сделать снимок — это только начало. Самое сложное — это перемещение и обработка данных. Современные промышленные камеры генерируют десятки гигабайт данных каждую секунду с очень высокой скоростью захвата. Необходимо передавать этот огромный объем данных с камеры на компьютер, графический процессор и накопитель, не замедляя работу системы.
Управление гигабайтами в секунду
В вашей системе есть несколько проблем с обработкой данных. Ограничения пропускной способности влияют на работу высокоточных датчиков, генерирующих миллионы событий в секунду . Распространенные соединения, такие как USB 3.0 и PCIe, перегружаются при использовании большого количества датчиков. Управление памятью также затруднено. Буферы старого типа не справляются с внезапными, непредсказуемыми потоками событий. Потребности в памяти могут возрастать в зависимости от сложности сцены.
Различные типы камер управляют полосой пропускания по-разному. Обычные камеры и SPAD-детекторы берут выборки в заданные моменты времени и отправляют кадры с полной яркостью. Это потребляет много полосы пропускания. Камеры, работающие в режиме реального времени , решают эту проблему, регистрируя изменения яркости только как простые события включения/выключения. Они обеспечивают быструю работу с низким потреблением полосы пропускания. Некоторые системы сочетают SPAD-детекторы с адаптивной выборкой на основе событий для решения этих проблем.
Ограничения пропускной способности напрямую влияют на производительность вашей системы. Программное обеспечение камеры определяет максимальную частоту кадров на основе ограничения скорости передачи данных. Снижение этого ограничения уменьшает частоту кадров. Меньшее ограничение приводит к появлению пауз после каждой строки изображения. Это замедляет считывание данных датчиком и усугубляет эффект «роллинг-шаттера». Это также снижает качество изображения.
Обработка на графическом процессоре помогает преодолеть эти ограничения пропускной способности. Системы на графических процессорах проще в программировании, чем системы на ПЛИС, и при этом обеспечивают высокую частоту кадров. Анализ движения на основе графических процессоров может обрабатывать изображения в реальном времени на высоких скоростях. Это делает графические процессоры хорошим выбором для задач обработки изображений с высокой пропускной способностью.
Алгоритмы обработки в реальном времени
Для эффективной работы алгоритмов реального времени необходимо найти баланс между качеством и скоростью. Нужны алгоритмы, способные быстро обрабатывать данные для получения быстрых ответов, сохраняя при этом точность. FPGA-микросхемы могут достигать высокой частоты кадров — от 10 000 до 12 500 кадров в секунду для изображений определённых размеров. Однако их сложно программировать, и у них ограниченный объём памяти. GPU — более простой вариант. Они обеспечивают результаты в реальном времени для поиска объектов и анализа движения без сложного процесса обучения, характерного для разработки FPGA-микросхем.
Выбор алгоритма зависит от ваших потребностей. Для быстрого анализа изображений методы на основе графического процессора (GPU) обеспечивают необходимую скорость при разумных затратах на настройку. Такой баланс позволяет обрабатывать изображения на гигапиксельной скорости в реальных производственных системах.
Приложения и варианты использования
Высокоскоростная съемка меняет наше восприятие мира. Ученые, инженеры и творческие люди используют ее для наблюдения за событиями, длящимися всего миллисекунды. В каждой области применяются одни и те же основные идеи по-своему.
Научно-исследовательские и промышленные инспекции
В исследовательских лабораториях для изучения быстротечных процессов используются высокоскоростные камеры. Специалисты по гидродинамике изучают кровоток, океанские течения и полёт. Материаловеды наблюдают за фазовыми переходами и химическими реакциями. Исследователи в области биомеханики изучают движение мышц и поведение клеток. Для решения этих задач необходимы точная синхронизация и специальное освещение.
Промышленный контроль качества использует высокоскоростную съемку. К распространенным задачам относятся проверка полупроводников, электроники, продуктов питания, напитков, потребительских товаров и лекарств . Другие области применения включают биомедицинские исследования, проверку аккумуляторов электромобилей, сварку и краш-тесты автомобилей.
Высокоскоростные системы превосходят ручные проверки по многим параметрам. Они работают быстрее, обеспечивают стабильную работу, повышают точность и функционируют круглосуточно. Автоматизированная запись обеспечивает более эффективное отслеживание на основе анализа данных.
Высокоскоростная визуализация превосходит ручную проверку . Она работает быстрее, обеспечивает стабильность, повышает точность, работает круглосуточно, снижает трудозатраты и позволяет лучше отслеживать результаты благодаря автоматизированной записи и анализу данных.
Область улучшения | Процент/Значение |
|---|---|
Снижение частоты дефектов | 90% |
скорость выявления первопричины | 70% быстрее |
Сокращение количества гарантийных обращений | 45% |
Улучшение выхода годной продукции с первого прохода | 30% |
Точность обнаружения | Субпиксель (<0.1 мм) |
Эти системы «замораживают» движение с помощью коротких выдержек. Они проверяют каждую деталь на полной производственной скорости. Искусственный интеллект на периферии сети обнаруживает дефекты за миллисекунды, поэтому некачественные детали сразу же отбраковываются. Это делает высокоскоростную съемку жизненно важной для современных заводов.
Спортивный анализ и развлечения
Спортсмены и тренеры используют высокоскоростные камеры для улучшения техники. Исследование, сравнивающее 30 и 120 кадров в секунду в 2D-анализе движений, показало, что более высокая частота кадров значительно повышает точность движений. Это важно для измерения углов в коленях и сгибов туловища во время быстрых движений, таких как приземление и резкие повороты. Более низкая частота кадров может не учитывать эти углы, что помогает выявлять риски травм.
Разные виды спорта требуют разной скорости. При спринте со скоростью 500-1000 кадров в секунду старт разбивается на десятки кадров. Лучшие спринтеры делают около 4.6 шагов в секунду, каждый шаг длится примерно 217 миллисекунд. При 1000 кадрах в секунду получается 217 кадров на шаг. Удар клюшкой по мячу длится около 0.5 миллисекунды. Камера со скоростью 1000 кадров в секунду фиксирует около 5 кадров этого удара. Удар бейсбольной битой по мячу длится около 0.7 миллисекунды при скорости мяча более 170 км/ч.
Телеведущие используют специальные камеры для отслеживания звездных игроков. Профессиональные системы повторов от таких компаний, как EVS Broadcast Equipment, обрабатывают эти кадры. Опрос 2019 года показал, что 213 из 257 передвижных студий HD-трансляций использовали оборудование для повторов EVS. Эти системы помогают судьям использовать такие инструменты, как VAR и Hawk-Eye.
Индустрия развлечений также зависит от высокоскоростной съемки. Захват движений для фильмов и видеоигр использует оптические системы слежения. Виртуальное производство отслеживает камеры с помощью цифровых персонажей для создания визуальных эффектов в реальном времени. В музыкальном видео «Crip Ya Enthusiasm» использовались 16 камер Vicon Vero 2.2 с движком Unreal Engine. Эта установка позволила осуществлять захват движений в реальном времени и виртуальное производство. Эти креативные примеры показывают, как машинное зрение выходит за рамки заводского производства.
Проблемы и будущие направления
Хранение данных, пропускная способность и стоимость
Высокоскоростные камеры генерируют огромные объемы данных всего за несколько секунд. Одна сессия записи может заполнить терабайты памяти . Это создает серьезные проблемы для многих групп. Вы сталкиваетесь с тремя основными проблемами: пространство для хранения, ограничения пропускной способности и стоимость оборудования.
Стоимость зависит не только от самой камеры . Профессиональные модели, снимающие со скоростью 100 000 кадров в секунду, стоят 50 000 долларов и более . Камера с разрешением 4 Мп стоит от 10 000 до 30 000 долларов. Датчики с глобальным затвором добавляют еще от 5 000 до 20 000 долларов. Внутренняя память объемом 10 ГБ и более увеличивает цену на 2 000–10 000 долларов. Обычные камеры обеспечивают только 60–120 кадров в секунду, поэтому их нельзя использовать для высокоскоростной съемки.
Малые и средние предприятия часто выбирают более дешевые варианты или откладывают модернизацию. Общая стоимость включает в себя системы хранения данных, мощные компьютеры и услуги по настройке. Эти расходы быстро накапливаются.
Методы сжатия помогают управлять потребностями в хранении данных. Кодеки с потерями, такие как H.264 и H.265, значительно уменьшают размер файлов, сохраняя при этом хорошее качество. VP9 и AV1 предлагают бесплатные варианты с аналогичными результатами. Для задач без потерь данных HuffYUV и Lagarith обеспечивают быстрое кодирование без потери качества. Пространственное сжатие удаляет повторяющиеся данные внутри кадров с помощью дискретного косинусного преобразования. Временное сжатие выявляет сходства между соседними кадрами путем оценки движения. Эти методы значительно сокращают потребности в хранении данных, что делает высокоскоростную съемку более полезной для повседневных задач.
Новые технологии и тенденции
Камеры, работающие на основе событий, вносят существенные изменения в высокоскоростную съемку. В отличие от обычных датчиков, которые захватывают полные кадры в заданные моменты времени, камеры, работающие на основе событий, записывают только изменения яркости. Этот метод позволяет получать очень мало данных, обеспечивая при этом высокоскоростное обнаружение и отслеживание. С его помощью можно наблюдать за быстро движущимися искрами в металлообрабатывающих изделиях, изучать частоты вибрации в каждом пикселе и поддерживать навигацию роботов в реальном времени. Низкая задержка и малый объем данных делают камеры, работающие на основе событий, идеальными для научных измерений и анализа поведения с учетом конфиденциальности.
Искусственный интеллект меняет подход к обработке высокоскоростных изображений. Сочетание вычислительной обработки изображений и ИИ создает интеллектуальные системы, которые фокусируются на точности обнаружения, а не на сборе необработанных данных. Типичный конвейер обработки ИИ состоит из пяти этапов : захват, передача, предварительная обработка, анализ и передача результатов. Сверточные нейронные сети анализируют изображения на ПЛИС, обеспечивая мгновенную обработку для принятия решений в реальном времени. Такая конфигурация позволяет автоматически обнаруживать ошибки на заводах и поддерживает обработку гигапиксельных изображений, что перегружало бы старые системы.
Периферийные вычисления и сети 5G открывают еще больше возможностей. Эти технологии позволяют работать в режиме реального времени в рамках взаимосвязанных систем. Будущее машинного зрения заключается в интеллектуальном захвате, обработке и принятии решений, работающих слаженно. По мере снижения затрат за счет массового производства и модульных конструкций высокоскоростная обработка изображений станет доступна большему числу отраслей и исследователей.
Высокоскоростная съемка открывает миры, недоступные невооруженному глазу. Каждая система требует тщательного подбора компромиссов. Более высокая частота кадров требует более яркого освещения. Более высокое разрешение создает огромные потоки данных. Необходимо сбалансировать эти факторы с учетом вашего бюджета и целей.
Выбор камеры, освещения и алгоритма обработки данных определяет успех. Спортивному аналитику требуется другое оборудование, чем заводскому инспектору. Подбирайте оборудование в соответствии с конкретными задачами. Протестируйте свою систему, прежде чем вкладывать средства в дорогостоящее оборудование.
Эта область постоянно развивается. Камеры, работающие на основе событий, и обработка данных с помощью ИИ открывают новые возможности. Вы можете начать с небольшой демонстрационной системы или изучить примеры из вашей отрасли. Попробуйте взять в аренду высокоскоростную камеру, чтобы увидеть разницу своими глазами. Скрытые моменты, которые вас ждут, стоят затраченных усилий.
FAQ
Какая частота кадров определяет высокоскоростную съемку?
Высокоскоростная съемка начинается с 250 кадров в секунду. Время экспозиции остается ниже 1/1000 секунды. Коммерческие камеры могут достигать 3000 кадров в секунду. Научные системы позволяют снимать до 25 миллионов кадров в секунду.
Почему для более высокой частоты кадров требуется более яркое освещение?
Короткие выдержки собирают меньше света. При частоте 1 миллион кадров в секунду каждая выдержка длится всего 733 наносекунды. Для предотвращения появления темных кадров необходимы яркие источники света. Светодиоды хорошо подходят для этой цели.
Как вы обрабатываете огромные объемы данных с высокоскоростных камер?
Высокоскоростные камеры обрабатывают десятки гигабайт данных в секунду. Обработка на графическом процессоре помогает справиться с этой нагрузкой. Методы сжатия, такие как H.264, уменьшают размер файлов, сохраняя при этом хорошее качество.
Чем отличаются камеры, работающие на основе событий, от обычных камер?
Камеры событий регистрируют только изменения яркости. Они не захватывают полные кадры. Это приводит к очень небольшому объему данных. В системах машинного зрения можно отслеживать быстро движущиеся объекты с малой задержкой.
