Дрон пробирается сквозь густой лес, а видеопоток направляет каждый его поворот. Второй БПЛА должен скорректировать свой маршрут при приближении внезапного порыва ветра. Третий БПЛА наблюдает за местностью сверху. Автономный автомобиль замечает пешехода и должен мгновенно затормозить. Эти системы требуют интеллектуальных функций в реальном времени. Как добиться сверхнизкой задержки, необходимой для безопасного и автономного принятия решений?
Ответ кроется в двух взаимосвязанных областях: улучшении передачи изображений с низкой задержкой и эффективном объединении данных с датчиков. Также необходимо подумать об обработке данных в реальном времени на периферии сети. В этой статье рассматриваются источники задержки, способы её уменьшения, основы объединения данных с датчиков и пошаговое руководство по настройке. Для дронов и БПЛА качество передачи видеосигнала определяет успех. Ваша видеосистема должна минимизировать задержку. Каждому дрону необходима надежная видеосвязь для безопасного полета.
Основные выводы
Задержки при передаче видеосигнала возникают из-за сети, обработки и всего пути от начала до конца. Каждая миллисекунда имеет значение для безопасного управления дроном.
Используйте эффективные кодеки, такие как H.265, и граничные вычисления для сокращения задержки. Обрабатывайте данные рядом с камерой, чтобы избежать времени передачи по сети.
Технология объединения данных с различных датчиков позволяет сопоставить данные с камер, радаров и лидаров. Это компенсирует недостатки каждого датчика и повышает надежность.
Синхронизация времени очень важна. Сопоставление данных с датчиков с аппаратными метками времени позволяет предотвратить ошибки и ускорить процесс объединения данных.
Ускорьте свой рабочий процесс, запуская задачи одновременно и используя специальное оборудование. Это обеспечит быструю и корректную передачу видеопотока.
Источники задержки при передаче изображений
Определение задержки и её влияния
Задержка — это время между действием и моментом, когда вы видите результат. В системах реального времени необходимо знать три типа задержки. Сетевая задержка — это время, которое данные тратят на передачу между устройствами. Задержка обработки — это время, которое ваша система использует для сжатия, анализа или распаковки данных. Сквозная задержка — это сумма всех задержек, от момента захвата изображения камерой до момента его отображения на экране.
В системах видеосвязи с дронами даже малейшие задержки вызывают серьезные проблемы. Быстро летающему дрону необходима постоянная обратная связь для корректировки траектории. При задержке видео эта обратная связь теряется. Дрон может пролететь мимо препятствия еще до того, как вы увидите его на экране. Исследования показывают, что производительность падает, когда сквозная задержка достигает 100 мс. При 500 мс задержка слишком опасна для безопасного полета. Другое исследование утверждает, что автономные системы должны работать с задержкой менее 170 мс. Эти цифры показывают, почему каждая миллисекунда имеет значение для контуров управления.
Узкие места в магистральных трубопроводах
В вашем канале передачи видеоданных есть несколько точек задержки. Задержка камеры возникает, когда датчик захватывает и кодирует изображение. Задержка передачи системы — это время, необходимое данным для перемещения по кабелям или беспроводным каналам связи. Задержка отображения добавляет задержку, когда приемник показывает окончательное изображение. Сжатие, передача и декомпрессия добавляют свои собственные задержки к общей сумме.
Коммерческие системы видеонаблюдения для БПЛА демонстрируют, как распределяются эти задержки. Системы COFDM начального уровня обычно обеспечивают задержку в 35–55 мс . Профессиональные системы COFDM, такие как LinkAV LVD-300, имеют задержку от 40 до 65 мс. Узлы IP Mesh для мобильных самоорганизующихся сетей работают в диапазоне от 70 до 110 мс. Трехдиапазонные адаптивные системы находятся в диапазоне 50–90 мс. Эти цифры показывают общую задержку передачи видеосигнала, которую можно ожидать от каждой технологии.
Измерить сквозную задержку можно с помощью наложения временных меток . Включите функцию временных меток на вашей камере, затем наведите ее на собственный вывод в реальном времени. Сравните время в наложении со временем на экране. Этот метод дает измерение с погрешностью до одного интервала кадра. При 25 кадрах в секунду расчет задержки становится кратным 40 мс. Знание этих узких мест помогает определить, где ваша система передачи изображений с низкой задержкой теряет драгоценное время.
Методы передачи изображений с низкой задержкой
Оптимизация сжатия и кодирования
Выбор алгоритма сжатия влияет на всю вашу видеосистему. Сжатие без потерь сохраняет все детали, но приводит к увеличению размера файлов. Сжатие с потерями отбрасывает часть данных, чтобы значительно уменьшить размер файлов. Для видеосвязи с дронами кодеки с потерями, такие как H.264, могут значительно уменьшить размер видеоданных, обеспечивая плавную передачу видео по беспроводным каналам.
Более новые кодеки имеют разные сильные и слабые стороны. H.265 широко используется для потоковой передачи в реальном времени. Он работает надежно, совместим со многими аппаратными кодеками и обеспечивает очень низкую задержку даже при высоком качестве. AV1 все еще находится в стадии разработки для потоковой передачи в реальном времени. Для работы в реальном времени ему требуется слишком много вычислительной мощности. Каждый видеокадр должен кодироваться быстро, и AV1 с этим с трудом справляется. Для видео с низкой задержкой H.265 — безопасный выбор . AV1 хорош для будущего использования, когда экономия полосы пропускания важнее скорости кодирования.
Пропускная способность и перегрузки сети влияют на качество видео. Беспроводные каналы связи имеют большую задержку, чем проводные . Кабельные и оптоволоконные каналы обычно имеют задержку менее 20 мс. Низкая пропускная способность означает большую задержку, поэтому видеопакеты приходят с опозданием. Высокая пропускная способность, но большая задержка обеспечивают хорошее качество видео, которое иногда зависает. Низкая пропускная способность и малая задержка обеспечивают стабильное видео, но более низкое качество. Для видео в реальном времени задержка важнее, чем пропускная способность.
Когда в сети слишком много данных, это создает узкое место . Это узкое место вызывает заторы на дорогах, поскольку пакеты накапливаются. Пакеты должны ждать в очереди на отправку. Ожидание в очереди добавляет задержку, что замедляет передачу видеокадров.
фактор | Влияние на задержку при беспроводной передаче видео. |
|---|---|
Беспроводная связь против проводной | Беспроводные соединения имеют большую задержку, чем проводные (например, кабельное/оптоволоконное соединение, часто менее 20 мс), поэтому видеосигнал, скорее всего, будет иметь задержку. |
Низкая пропускная способность | Меньшая пропускная способность обычно означает большую задержку, замедляя доставку видеопакетов. |
Высокая пропускная способность + высокая задержка | Может обеспечить хорошее качество видео, но иногда зависает — пропускная способность не устраняет задержку. |
Низкая пропускная способность + низкая задержка | Обеспечивает стабильное, но более низкое качество видео, демонстрируя, что задержка важнее пропускной способности для видео в реальном времени. |
Периферийные вычисления и аппаратное ускорение
Граничные вычисления приближают обработку данных к месту их сбора. Вы анализируете данные там, где их получаете, что сокращает время передачи. Вместо отправки видео на удаленный сервер, вы обрабатываете его локально. Это значительно уменьшает задержки в сети. Для видеосъемки с БПЛА граничные вычисления очень важны. Ваш дрон обрабатывает изображения самостоятельно и отправляет на землю только полезные результаты.
Аппаратное ускорение делает периферийные вычисления еще лучше. FPGA и NPU запускают модели ИИ с минимальной задержкой, обеспечивая обработку в реальном времени непосредственно на оборудовании. Вы получаете обработку с низкой задержкой, не дожидаясь обработки в облаке.
Реальные примеры демонстрируют эффект. Система для поиска дефектов в электронных компонентах использовала сжатие моделей, граничные вычисления и аппаратное ускорение. Инженеры уменьшили размер модели YOLOv5s с 73 МБ до 1.2 МБ . Они разместили её на шлюзе USR-M300 с ускорением NPU. Система работала со скоростью 35 кадров в секунду, примерно 28.6 мс на кадр. Этого было достаточно для поиска дефектов.
Для передачи видео с вашего дрона важны специальные беспроводные протоколы. Прямая коррекция ошибок обеспечивает стабильность соединения и низкую задержку. Эти протоколы находят и исправляют ошибки без повторной отправки данных. Вы избегаете задержки, связанной с повторным запросом потерянных пакетов. Видео с вашего БПЛА остается плавным даже в сложных условиях.
Техника | Как это снижает задержку |
|---|---|
Уменьшает размер видеоданных для более быстрой передачи; аппаратное кодирование также сокращает задержку обработки. | |
Достаточная пропускная способность сети | Обеспечивает быструю передачу пакетов данных между камерой и устройством просмотра, избегая задержек в передаче. |
Оптимизированные настройки буферизации | Находит оптимальный размер буфера, чтобы избежать задержек и прерываний, благодаря чему видео кажется быстрее. |
CDN с несколькими точками присутствия (PoP). | Отправляет видео с серверов, расположенных рядом со зрителями, сокращая время передачи и буферизацию. |
Граничные вычисления меняют принцип работы вашей системы передачи видеосигнала. Вы сочетаете качественное сжатие с локальной обработкой. Ваша система получает интеллектуальные функции в реальном времени без необходимости использования облака. Это обеспечивает низкую задержку, необходимую вашим автономным системам.
Ключевой вывод о компромиссах в отношении низкой задержки: сам кодек не определяет задержку ; важны такие факторы, как буферизация, структура GOP, настройки кодировщика, состояние сети, транскодирование, транспортный протокол, поведение проигрывателя и адаптивный битрейт. Выбор AV1 не гарантирует автоматически очень низкую задержку, и выбор H.265 также не гарантирует её. Но для использования в реальном времени H.265 по-прежнему является лучшим выбором, поскольку его кодировщики и декодеры хорошо протестированы, в то время как кодирование в реальном времени AV1 всё ещё требует проверки, поскольку оно может быть более требовательным, когда каждый поток должен кодироваться быстро.
Ваша система видеонаблюдения для БПЛА выигрывает от этих комбинированных методов. Вы эффективно сжимаете данные, обрабатываете их на периферии и используете аппаратные средства для ускорения. Скорость передачи видеосигнала, необходимая для контуров управления, обеспечивается быстрыми вычислениями на периферии.
Основы слияния данных с датчиков
Роль объединения данных с датчиков в восприятии
Объединение данных с различных датчиков позволяет получить единую, четкую картину окружающего мира. Вы комбинируете данные с камер, радаров и лидаров, чтобы устранить слабые места каждого датчика. Камера дает четкие изображения, но плохо работает в условиях недостаточного освещения . Радар хорошо измеряет расстояние и скорость в плохую погоду, но не может считывать знаки или различать цвета. Лидар создает подробные 3D-карты, но имеет малую дальность действия и высокую стоимость. Объединяя эти различные источники, вы покрываете «слепые зоны» каждого датчика.
Этот комбинированный подход работает лучше и надежнее, чем использование только одного датчика. Каждый датчик по отдельности сталкивается с проблемами, связанными с погодой, помехами сигнала и ошибками измерений. Объединение данных помогает уменьшить эти проблемы. Избыточность также обеспечивает безопасность вашей системы. Если один датчик выходит из строя, другие продолжают предоставлять важную информацию. Для вашего дрона или БПЛА эта надежность важна во время сложных миссий. Ваш видеопоток сам по себе не может показать глубину, но добавление радиолокационных данных заполняет этот пробел. Процесс объединения данных создает полную модель окружающей среды вашего аппарата, поэтому он хорошо работает во многих условиях, включая плохую погоду и низкую видимость. Эта точность напрямую повышает качество восприятия на основе видеоданных.
Проблемы интеграции нескольких датчиков
Синхронизация по времени — самая сложная часть объединения нескольких датчиков. Каждый датчик захватывает данные в разный момент времени. Камера записывает кадр в одно время, а радар — в другое. Когда вы смешиваете данные, которые не совпадают, возникают ошибки. Эти ошибки добавляют задержку в ваш конвейер обработки данных. Для автономных транспортных средств даже незначительные смещения приводят к неправильному определению местоположения объектов. Ваша система может реагировать на то, где был пешеход, а не на то, где он находится сейчас. Это смещение напрямую ухудшает качество передачи видео, поскольку отображаемая информация устаревает.
Исследования показывают, что для достижения низкой задержки можно использовать вероятностный метод слияния данных низкого уровня, основанный на данных LiDAR, RADAR и камер. Этот подход объединяет необработанные измерения датчиков на раннем этапе обработки, а не после отдельной обработки. Задержка сокращается за счет пропуска нескольких этапов обработки. Данные датчиков обрабатываются один раз, на объединенных данных, а не отдельно для каждого датчика. Такая стратегия слияния позволяет сократить путь передачи и ускорить время отклика.
Для вашей системы передачи видео с БПЛА синхронизация напрямую влияет на качество видео. Когда данные с датчиков поступают с задержкой, наложение видео отображает устаревшую информацию. Для обеспечения точного контроля необходимо точное время по всем датчикам. Ваш дрон зависит от этих синхронизированных данных для безопасного полета. Отправка объединенных данных, а не отдельных потоков, снижает потребность в пропускной способности и обеспечивает высокую скорость отклика видеопотока. Хорошо синхронизированная система обеспечивает стабильную передачу видео даже при быстрых движениях. Вы избегаете дрожания, вызванного несовпадением показаний датчиков. Канал передачи видео с вашего БПЛА остается чистым, а контур управления получает точные данные каждый цикл.
Реализация объединения данных с датчиков для обеспечения низкой задержки
Алгоритмы для выравнивания данных в реальном времени
Фильтр Калмана — ключевой инструмент для объединения данных с датчиков. Он используется для смешивания данных с инерциального измерительного блока (IMU) и камеры. Этот фильтр определяет состояние вашей системы, а затем корректирует это предположение с помощью новых показаний датчиков. Процесс повторяется в цикле. Каждый цикл дает вам более точное представление о вашем текущем состоянии. Этот метод помогает обеспечить эффективную передачу изображений с низкой задержкой.
Для нелинейных систем расширенный фильтр Калмана (EKF) работает лучше. Ваш дрон или БПЛА не летает по прямым линиям. EKF делает систему линейной на каждом шаге. Это дает лучшие результаты для реальных движений. Исследования показывают, что слияние данных с датчиков на основе EKF может обеспечить высокую частоту обновления с низкой задержкой, что подходит для систем реального времени.
Тесты производительности показывают, что усовершенствованные варианты EKF могут значительно повысить точность.
Синхронизация времени между датчиками по-прежнему остается серьезной проблемой. Камеры и радар используют разные тактовые генераторы. Камера обычно работает с частотой от 30 до 60 кадров в секунду. Радар работает с другой скоростью. Это создает временные разрывы. Проблемы синхронизации на аппаратном уровне возникают из-за разных методов связи. Без общего эталона времени сопоставление событий становится ненадежным. Увеличивается количество ложных срабатываний. Изменения температуры, вибрации и электромагнитные помехи вызывают дрейф синхронизации. Это со временем ухудшает точность синхронизации. Неправильная настройка приводит к ложным срабатываниям и ложным отрицаниям в видеопотоке. Вашей системе необходима точная синхронизация для качественного объединения данных.
Правильная синхронизация может значительно сократить задержку при слиянии данных и повысить точность.
Оптимизация конвейеров обработки
Вы проектируете свой конвейер обработки данных таким образом, чтобы сократить задержку. Используйте параллельную обработку в качестве ключевого метода. Разделите задачи между несколькими вычислительными блоками. Один блок обрабатывает сжатие видео, другой — данные с датчиков, а третий — алгоритм слияния. Этот метод значительно сокращает сквозную задержку. Вы получаете низкую задержку на всем протяжении конвейера.
Системы на базе FPGA обеспечивают очень низкую задержку при объединении данных с датчиков. FPGA обрабатывают данные непосредственно в аппаратном обеспечении, минуя накладные расходы на программную обработку. Например, система, использующая шлюз USR-M300 с ускорением NPU, достигла скорости обработки 35 кадров в секунду, демонстрируя обработку в реальном времени. Это выгодно для вашей системы передачи данных с БПЛА. Вы получаете обработку в реальном времени, не дожидаясь обработки в облаке. Это граничные вычисления в лучшем виде.
Существуют платформы для объединения данных с датчиков в реальном времени, которые поддерживают передачу данных с низкой задержкой, автоматическую обработку и выравнивание данных. Это делает передачу видеопоток быстрее и надежнее.
Следуйте этим рекомендациям для вашей системы. Используйте аппаратные метки времени для выравнивания данных с разных датчиков. Установите выделенные контроллеры интерфейса датчиков для управления потоком данных. Используйте структуры прерываний, специфичные для каждого датчика, для своевременного сбора данных. Используйте выделенные контроллеры синхронизации или часы, синхронизированные с GPS, чтобы предотвратить дрейф тактовой частоты.
Необходимо также правильно настроить фильтры. Отрегулируйте матрицы Q и R в фильтрах Калмана. Найдите баланс между точностью оценки и скоростью. Отрегулируйте размер окна настройки. Большие окна повышают точность, но используют больше памяти и добавляют задержку. Используйте взвешивание датчиков, чтобы отдавать предпочтение более точным входным данным. Используйте вычисления с фиксированной запятой для устройств с ограниченными ресурсами. Это сократит вычислительную нагрузку и обеспечит стабильное время выполнения.
Ваша система передачи видео с дрона или БПЛА выигрывает от использования этих методов. Вы объединяете периферийные вычисления с ускорением на FPGA. Ваши видеоданные быстро проходят через конвейер. Алгоритм слияния обрабатывает их в реальном времени. Ваша высокопроизводительная вычислительная система берет на себя эту работу. В результате получается быстрый видеопоток, обеспечивающий точность контура управления. Ваша система передачи видео становится надежной частью вашей автономной системы. Конвейер передачи видео должен быть быстрым.
Низкая задержка — это комплексная задача. Оптимизируйте путь передачи видео и конвейер обработки. Используйте эффективное сжатие, граничные вычисления, аппаратное ускорение и надежные алгоритмы слияния. Параллельная обработка распределяет задачи между многоядерными процессорами или FPGA. Аппаратное ускорение позволяет добиться низкого времени обработки, обеспечивая навигацию в реальном времени для БПЛА. Для вашей системы передачи видео для БПЛА оцените свои потребности. Видеосвязь для дрона требует иной настройки, чем для автономного транспортного средства. Ваша система передачи видео должна оставаться отзывчивой. Ваша система передачи видео должна обрабатывать слияние данных с датчиков с минимальной задержкой. Ваша передача видео зависит от этих решений. Ваши видеопотоки должны иметь низкую задержку. Ваши видеоданные должны передаваться эффективно. Качество видео должно оставаться высоким. Ваш видеопоток должен работать надежно. Эти навыки важны по мере развития интеллекта в реальном времени. Ваш дрон получает выгоду. БПЛА работает безопасно. Миссия дрона должна быть успешной.
FAQ
В чём заключается главная проблема передачи видео с низкой задержкой для беспилотных летательных аппаратов?
Самая большая проблема — перегрузка сети. Вам необходимо качественно закодировать видео. Для передачи видео с вашего БПЛА следует использовать кодек H.265. Стабильный нисходящий видеоканал обеспечивает быструю работу контура управления.
Как объединение данных с различных датчиков повышает производительность видеосвязи с дронами?
Технология объединения данных с датчиков смешивает данные с камер и радаров. Это сокращает объем отдельной обработки. Скорость передачи видеосигнала с дрона увеличивается. Дрон получает корректные видеоданные. Передача видеосигнала остается надежной. Видеосвязь остается стабильной.
Почему синхронизация по времени имеет решающее значение для передачи видео с вашего БПЛА?
Синхронизация по времени обеспечивает согласование всех данных с датчиков. Без нее видео будет отображать неверные координаты, а видеоданные станут ненадежными. При передаче видео с БПЛА эта синхронизация позволяет избежать задержек, обеспечивая точность нисходящего видеоканала.
Как периферийные вычисления могут улучшить передачу видео?
Технология граничных вычислений (edge computing) работает с видеосигналом, находящимся рядом с камерой. Это сокращает время передачи. Ваш дрон выигрывает от более быстрой обработки видео. Ваш БПЛА работает с меньшей задержкой. Ваша передача видео становится более надежной.
