Дрон петляє крізь захаращений ліс, його відеопотік направляє кожен поворот. Другий БПЛА повинен коригувати свій шлях, коли наближається раптовий порив вітру. Третій БПЛА стежить за місцевістю зверху. Безпілотний транспортний засіб помічає пішохода та повинен миттєво загальмувати. Ці системи вимагають інтелекту в режимі реального часу. Як досягти наднизької затримки, необхідної для безпечного автономного прийняття рішень?
Відповідь криється у двох взаємопов'язаних сферах: покращення передачі зображень з низькою затримкою та належне поєднання даних датчиків. Також потрібно подумати про обробку в режимі реального часу на периферії. У цій публікації розглядається, звідки береться затримка, способи її зменшення, основи об'єднання даних датчиків та покрокове керівництво з його налаштування. Як для дронів, так і для безпілотних літальних апаратів якість передачі відео вирішує успіх. Ваша відеосистема повинна скорочувати затримку. Кожному дрону потрібен надійний відеозв'язок для безпечного польоту.
Ключові винесення
Затримки передачі відео виникають через мережу, обробку та весь шлях від початку до кінця. Кожна мілісекунда має значення для безпечного керування дроном.
Використовуйте ефективні кодеки, такі як H.265 та периферійні обчислення, щоб скоротити затримку. Обробляйте дані поблизу камери, щоб уникнути часу передачі даних по мережі.
Об'єднання даних датчиків поєднує дані камери, радара та лідара. Це компенсує недоліки кожного датчика та підвищує його надійність.
Синхронізація часу дуже важлива. Зіставте дані датчиків з апаратними мітками часу, щоб запобігти помилкам і пришвидшити злиття даних.
Пришвидшіть свій конвеєр, запускаючи завдання одночасно та використовуючи спеціальне обладнання. Це забезпечить швидку та правильну передачу відео.
Джерела затримки під час передачі зображень
Визначення затримки та її впливу
Затримка – це час між дією та моментом, коли ви бачите результат. У системах реального часу вам потрібно знати три типи. Затримка мережі – це час, який дані витрачаються на передачу між пристроями. Затримка обробки – це час, який ваша система використовує для стиснення, аналізу або розпакування даних. Наскрізна затримка – це всі затримки, що додаються разом, від моменту, коли камера захоплює зображення, до моменту, коли ви бачите його на екрані.
Для відеозв'язку з дрона навіть незначні затримки спричиняють великі проблеми. Швидколітаючий дрон потребує постійного зворотного зв'язку для коригування свого шляху. Коли ваше відео затримується, ви втрачаєте цей зворотний зв'язок. Дрон може пробігти повз перешкоду ще до того, як ви побачите її на екрані. Дослідження показують, що продуктивність падає, коли наскрізна затримка досягає 100 мс. При 500 мс затримка є занадто ризикованою для безпечного польоту. Інше дослідження стверджує, що автономні системи повинні залишатися менше 170 мс. Ці цифри показують, чому кожна мілісекунда важлива для контурів керування.
Вузькі місця в газопроводі
Ваш конвеєр передачі відео має кілька точок затримки. Затримка камери виникає, коли датчик захоплює та кодує зображення. Затримка передачі системи – це час, який потрібен для передачі даних через кабелі або бездротові з'єднання. Затримка дисплея додає затримку, коли приймач показує кінцеве зображення. Стиснення, передача та декомпресія додають свої власні затримки до загальної кількості.
Комерційні відеосистеми БПЛА демонструють, як ці затримки складаються. Системи COFDM початкового рівня зазвичай мають затримку 35–55 мс . Професійні системи COFDM, такі як LinkAV LVD-300, мають затримку від 40 до 65 мс. Вузли IP Mesh для мобільних ad-hoc мереж працюють від 70 до 110 мс. Тридіапазонні адаптивні системи знаходяться в діапазоні 50–90 мс. Ці цифри показують загальну затримку низхідного відео, яку можна очікувати від кожної технології.
Ви можете виміряти наскрізну затримку за допомогою накладання позначок часу . Увімкніть функцію позначок часу на камері, а потім наведіть її на власний вивід у прямому ефірі. Порівняйте час у накладенні з часом на екрані циклу. Цей метод дає вам вимірювання з похибкою до одного інтервалу кадру. При 25 кадрах на секунду ваш розрахунок затримки стає кратним 40 мс. Знання цих вузьких місць допоможе вам знайти, де ваша система передачі зображення з низькою затримкою втрачає дорогоцінний час.
Методи передачі зображень з низькою затримкою
Оптимізація стиснення та кодування
Вибір стиснення впливає на всю вашу відеосистему. Стиснення без втрат зберігає всі деталі, але створює великі файли. Стиснення з втратами втрачає деякі дані, що робить файли набагато меншими. Для відеозв'язку з дронів кодеки з втратами, такі як H.264, можуть значно зменшити розмір відеоданих, забезпечуючи плавну передачу відео через бездротові з'єднання.
Новіші кодеки мають різні сильні та слабкі сторони. H.265 широко використовується для прямих трансляцій. Він працює надійно, працює на багатьох апаратних кодерах і забезпечує дуже низьку затримку навіть за високої якості. AV1 все ще розробляється для прямих трансляцій. Він потребує занадто багато комп'ютерної потужності для використання в режимі реального часу. Кожен відеокадр має бути закодований швидко, і AV1 має проблеми з цим. Для відео з низькою затримкою H.265 є безпечним вибором . AV1 добре підходить для майбутнього використання, коли економія пропускної здатності важливіша за швидкість кодування.
Пропускна здатність та затори на дорозі впливають на ваше відео. Бездротові з'єднання мають більшу затримку, ніж дротові . Кабельні та оптоволоконні з'єднання зазвичай мають затримку менше 20 мс. Низька пропускна здатність означає більшу затримку, тому відеопакети надходять із затримкою. Висока пропускна здатність, але висока затримка, забезпечує відео хорошої якості, яке іноді зависає. Низька пропускна здатність та низька затримка забезпечують стабільне відео, але нижчу якість. Для відео в реальному часі затримка важливіша за пропускну здатність.
Коли в мережі забагато даних, це створює вузьке місце . Це вузьке місце спричиняє затори через накопичення пакетів. Пакети повинні чекати в черзі, щоб їх було надіслано. Очікування в черзі додає затримку, що уповільнює відеокадри.
Фактор | Вплив на затримку бездротової передачі відео |
|---|---|
Бездротовий проти дротового | Бездротові з'єднання мають більшу затримку, ніж дротові (наприклад, кабельні/оптичні), часто менше 20 мс, тому відео, ймовірно, буде затримуватися. |
Низька пропускна здатність | Менша пропускна здатність зазвичай означає більшу затримку, що уповільнює доставку відеопакетів. |
Висока пропускна здатність + висока затримка | Може забезпечити якісне відео, яке іноді зависає — пропускна здатність не виправляє затримку. |
Низька пропускна здатність + низька затримка | Забезпечує стабільне відео, але нижчої якості, затримка відображення важливіша за пропускну здатність для відео в реальному часі. |
Периферійні обчислення та апаратне прискорення
Периферійні обчислення переносять обробку даних ближче до місця їх отримання. Ви аналізуєте дані там, де їх отримуєте, що скорочує час у дорозі. Замість того, щоб надсилати відео на віддалений сервер, ви обробляєте його локально. Це значно зменшує затримки в мережі. Для відео з БПЛА периферійні обчислення дуже важливі. Ваш дрон самостійно обробляє зображення та надсилає на землю лише корисні результати.
Апаратне прискорення робить периферійні обчислення ще кращими. ПЛІС та нейронні процесори запускають моделі штучного інтелекту з дуже малою затримкою, що дозволяє виконувати обробку в режимі реального часу на самому обладнанні. Ви отримуєте обробку з низькою затримкою, не чекаючи на хмару.
Реальні приклади демонструють ефект. Система для пошуку дефектів в електронних деталях використовувала стиснення моделі, периферійні обчислення та апаратне прискорення. Інженери зменшили розмір моделі YOLOv5s з 73 МБ до 1.2 МБ . Вони розмістили її на шлюзі USR‑M300 з прискоренням NPU. Система працювала зі швидкістю 35 кадрів на секунду, приблизно 28.6 мс на кадр. Цього було достатньо для пошуку дефектів.
Для відеозв'язку вашого дрона важливі спеціальні бездротові протоколи. Пряма корекція помилок забезпечує стабільність з'єднання та низьку затримку. Ці протоколи знаходять та виправляють помилки, не запитуючи повторну надсилання даних. Ви уникаєте затримки, пов'язаної з повторним запитом на втрачені пакети. Відео вашого БПЛА залишається плавним навіть у складних умовах.
Техніка | Як це зменшує затримку |
|---|---|
Зменшує розмір відеоданих для швидшого надсилання; апаратне кодування також зменшує затримку обробки. | |
Достатня пропускна здатність мережі | Забезпечує швидку передачу пакетів даних між камерою та глядачем, уникаючи затримок трафіку. |
Оптимізовані налаштування буферизації | Знаходить правильний розмір буфера, щоб уникнути затримок і переривань, завдяки чому відео відтворюється швидше. |
CDN з кількома точками доступу (PoP) | Надсилає відео із серверів поблизу глядачів, зменшуючи час у дорозі та буферизацію. |
Периферійні обчислення змінюють принцип роботи вашого відеоканалу. Ви поєднуєте якісне стиснення з локальною обробкою. Ваша система отримує інтелектуальні дані в режимі реального часу без потреби в хмарі. Це забезпечує низьку затримку, необхідну вашим автономним системам.
Ключовий висновок щодо компромісів з низькою затримкою: кодек сам по собі не визначає затримку ; важливі такі речі, як буферизація, структура GOP, налаштування кодера, мережеві умови, транскодування, транспортний протокол, поведінка програвача та адаптивний бітрейт. Вибір AV1 не гарантує автоматично дуже низької затримки, а вибір H.265 також не гарантує її. Але для використання в реальному часі H.265 все ще є найкращим вибором, оскільки його кодери та декодери добре перевірені, тоді як кодування в реальному часі AV1 все ще потребує перевірки, оскільки воно може бути більш вимогливим, коли кожен потік потрібно швидко закодувати.
Ваша відеосистема БПЛА отримує переваги від цих комбінованих методів. Ви добре стискаєте, обробляєте на периферії та використовуєте апаратне забезпечення для пришвидшення. Ваш канал зв'язку відео отримує швидкість, необхідну вашим контурам керування. Швидкі обчислення на периферії роблять це можливим.
Основи сенсорного синтезу
Роль сенсорного об'єднання у сприйнятті
Об'єднання даних з багатьох датчиків поєднує дані з багатьох датчиків, щоб створити одну чітку картину того, що вас оточує. Ви комбінуєте дані з камер, радара та лідару, щоб виправити слабкі місця кожного датчика. Камера дає чіткі зображення, але не працює в умовах слабкого освітлення . Радар добре вимірює відстань і швидкість за поганої погоди, але не може розпізнавати знаки чи бачити кольори. Лідар створює детальні 3D-карти, але має короткий радіус дії та високу вартість. Коли ви об'єднуєте ці різні джерела, ви покриваєте сліпі зони кожного датчика.
Такий комбінований підхід працює краще та надійніше, ніж використання лише одного датчика. Кожен датчик окремо стикається з проблемами, пов'язаними з погодою, шумом сигналу та похибками вимірювання. Об'єднання даних допомагає зменшити ці проблеми. Надмірність також забезпечує безпеку вашої системи. Якщо один датчик перестане працювати, інші все одно нададуть ключову інформацію. Для вашого дрона або БПЛА ця надійність важлива під час складних місій. Ваш відеопотік сам по собі не може показати глибину, але додавання радіолокаційних даних заповнює цю прогалину. Процес об'єднання створює повну модель оточення вашого транспортного засобу, тому він добре працює в багатьох умовах, включаючи негоду та низьку видимість. Ця точність безпосередньо покращує ваше сприйняття на основі відео.
Проблеми багатосенсорної інтеграції
Синхронізація часу – це найскладніша частина об’єднання кількох датчиків. Кожен датчик фіксує дані в різний момент. Камера записує кадр в один момент часу, а радар знімає дані в інший. Коли ви змішуєте дані, які не вирівняні, ви створюєте помилки. Ці помилки додають затримки до вашого конвеєра сприйняття. Для автономних транспортних засобів навіть незначні зміщення призводять до неправильного положення об’єктів. Ваша система може реагувати на те, де знаходився пішохід, а не на те, де він зараз. Це зміщення безпосередньо погіршує якість передачі відео, оскільки відображена інформація стає неактуальною.
Дослідження пропонують ймовірнісний метод низькорівневого об'єднання даних з використанням даних LiDAR, RADAR та камер для досягнення низької затримки. Цей підхід об'єднує необроблені вимірювання датчиків на ранніх етапах конвеєра, а не після окремої обробки. Ви скорочуєте затримку, пропускаючи кілька етапів обробки. Дані датчиків обробляються один раз, на об'єднаних даних, а не окремо для кожного датчика. Така стратегія об'єднання забезпечує короткий шлях передачі та швидкий час відгуку.
Для системи передачі відео вашого БПЛА синхронізація безпосередньо впливає на якість відео. Коли дані датчиків надходять із затримкою, ваше відео накладання показує застарілу інформацію. Вам потрібен точний час для всіх датчиків, щоб бути в курсі подій. Ваш дрон залежить від цих синхронізованих даних для безпечного польоту. Надсилання об'єднаних даних, а не окремих потоків, знижує потреби в пропускній здатності та забезпечує чутливість відеопотоку. Добре синхронізована система забезпечує стабільну передачу відео навіть під час швидких рухів. Ви уникаєте тремтіння від невідповідних показників датчиків. Зв'язок зв'язку вашого БПЛА залишається чітким, а ваш контур керування отримує точні дані кожного циклу.
Впровадження об'єднання датчиків для низької затримки
Алгоритми вирівнювання даних у реальному часі
Фільтр Калмана – ключовий інструмент для об'єднання даних датчиків. Він використовується для змішування даних з інерційного блоку (IMU) та камери. Цей фільтр визначає стан вашої системи. Потім він виправляє це припущення за допомогою нових показників датчика. Процес повторюється в циклі. Кожен цикл дає вам краще уявлення про те, де ви знаходитесь. Цей метод допомагає ефективно передавати зображення з низькою затримкою.
Для нелінійних систем краще працює розширений фільтр Калмана (EKF) . Ваш дрон або БПЛА не летить по прямих лініях. EKF робить систему лінійною на кожному кроці. Це дає кращі результати для реальних рухів. Дослідження показують, що об'єднання датчиків на основі EKF може досягати високої частоти оновлення з низькою затримкою, що підходить для систем реального часу.
Випробування продуктивності показують, що вдосконалені варіанти EKF можуть значно покращити точність.
Синхронізація часу між датчиками все ще залишається великою проблемою. Камери та радар використовують різні годинники. Камера зазвичай працює з частотою від 30 до 60 кадрів на секунду. Радар циклічно змінює час з різною швидкістю. Це створює часові розриви. Проблеми синхронізації на апаратному рівні виникають через різні методи зв'язку. Без спільної точки відліку часу узгодження подій є ненадійним. Збільшується кількість хибних тривог. Зміни температури, вібрації та електромагнітний шум спричиняють дрейф синхронізації. Це з часом знижує точність синхронізації. Погане вирівнювання призводить до хибнопозитивних та хибнонегативних результатів у вашому відеопотоці. Вашій системі потрібен точний час для гарного злиття сигналів.
Правильна синхронізація може значно зменшити затримку злиття та підвищити точність.
Оптимізація процесингових конвеєрів
Ви проектуєте свій конвеєр для скорочення затримки. Використовуйте паралельну обробку як ключовий метод. Розділяйте завдання між кількома обчислювальними блоками. Один блок обробляє стиснення відео. Інший обробляє дані датчиків. Третій запускає алгоритм об'єднання. Цей метод значно скорочує затримку від початку до кінця. Ви отримуєте низьку затримку по всьому конвеєру.
Системи на основі FPGA пропонують дуже низьку затримку об'єднання датчиків. FPGA обробляють дані безпосередньо на апаратному рівні. Вони уникають накладних витрат на програмну обробку. Наприклад, система, що використовує шлюз USR-M300 з прискоренням NPU, досягла швидкості виведення 35 кадрів/с, демонструючи обробку в режимі реального часу. Ваша передача даних БПЛА виграє від цього. Ви отримуєте обробку в режимі реального часу, не чекаючи на хмару. Це найкращі периферійні обчислення.
Доступні платформи для об'єднання даних датчиків у реальному часі, які підтримують передачу даних з низькою затримкою, автоматично обробляючи та вирівнюючи дані. Це робить передачу відео швидшою та надійнішою.
Дотримуйтесь цих рекомендацій щодо налаштування. Використовуйте апаратні позначки часу для вирівнювання даних з різних датчиків. Встановіть спеціальні контролери інтерфейсу датчиків для керування потоком даних. Використовуйте структури переривань, специфічні для датчиків, для своєчасного збору даних. Використовуйте спеціальні контролери синхронізації або годинники, фіксовані за GPS, щоб запобігти дрейфу годинника.
Ви також повинні правильно налаштувати свої фільтри. Налаштуйте матриці Q та R у фільтрах Калмана. Збалансуйте точність оцінки зі швидкістю. Налаштуйте розмір вікна налаштування. Більші вікна підвищують точність, але використовують більше пам'яті та додають затримку. Використовуйте зважування датчиків для надання переваги точнішим вхідним даних. Використовуйте математику з фіксованою комою для пристроїв з обмеженими ресурсами. Це скорочує обчислювальну роботу та забезпечує стабільний час виконання.
Ваша система передачі відео з дрона або безпілотного літального апарата виграє від цих методів. Ви поєднуєте периферійні обчислення з прискоренням FPGA. Ваші відеодані швидко переміщуються по конвеєру. Алгоритм об'єднання обробляє їх у режимі реального часу. Ваша високопродуктивна обчислювальна система виконує роботу. Результатом є швидкий відеопотік, який забезпечує точність вашого контуру керування. Передача вашого відео стає надійною частиною вашої автономної системи. Ваш конвеєр передачі відео має бути швидким.
Низька затримка – це цілісне завдання. Оптимізуйте шлях передачі відео та конвеєр обробки. Використовуйте ефективне стиснення, периферійні обчислення, апаратне прискорення та надійні алгоритми об'єднання даних. Паралельна обробка розподіляє завдання між багатоядерними процесорами або FPGA. Апаратне прискорення може досягти низького часу логічного висновку, що забезпечує навігацію в режимі реального часу для БПЛА. Оцініть свої потреби для вашої системи передачі відео з БПЛА. Відеоз'єднання дрона потребує іншого налаштування, ніж автономний транспортний засіб. Ваше низхідне відео залишається чутливим. Ваша система передачі відео обробляє об'єднання даних датчиків з мінімальною затримкою. Ваша передача відео залежить від цих варіантів. Ваші відеопотоки потребують низької затримки. Ваші відеодані передаються ефективно. Якість відео залишається високою. Ваш відеопотік працює надійно. Ці навички важливі, оскільки інтелект у режимі реального часу зростає. Ваш дрон отримує переваги. БПЛА працює безпечно. Місія дрона успішна.
FAQ
Яка найбільша проблема передачі відео з низькою затримкою для БПЛА?
Найбільша проблема – це перевантаження мережі. Вам потрібно добре закодувати відео. Передача відео з вашого БПЛА повинна використовувати H.265. Стабільний канал зв'язку забезпечує швидкість вашого контуру керування.
Як об'єднання датчиків покращує продуктивність відеозв'язку з дронами?
Об'єднання даних датчиків поєднує дані камери та радара. Це зменшує окрему обробку. Відеозв'язок вашого дрона стає швидшим. Ваш дрон отримує правильні відеодані. Передача відео залишається надійною. Ваш відеоз'єднання залишається стабільним.
Чому синхронізація часу є критично важливою для передачі відео з вашого БПЛА?
Синхронізація часу вирівнює всі дані датчиків. Без неї ваше відео показує неправильні позиції. Ваші відеодані стають ненадійними. Для передачі відео з БПЛА ця синхронізація дозволяє уникнути затримок. Ваше відеоз’єднання залишається точним.
Як периферійні обчислення можуть покращити передачу відео?
Периферійні обчислення працюють з відео поблизу камери. Це скорочує час у дорозі. Ваш дрон виграє від швидшої обробки відео. Ваш БПЛА працює з меншою затримкою. Передача відео стає надійнішою.
