Dron se proplétá hustým lesem a jeho videozáznam ho vede při každém zatáčení. Druhý dron musí upravit svou dráhu, když se blíží náhlý poryv větru. Třetí dron monitoruje oblast shora. Autonomní vozidlo zahlédne chodce a musí okamžitě zabrzdit. Tyto systémy vyžadují informace v reálném čase. Jak dosáhnout ultranízké latence potřebné pro bezpečné a autonomní rozhodování?
Odpověď spočívá ve dvou propojených oblastech: zlepšení přenosu obrazu s nízkou latencí a dobrá kombinace dat ze senzorů. Je také třeba myslet na zpracování v reálném čase na okraji sítě. Tento příspěvek se zabývá původem latence, způsoby, jak ji snížit, základy fúze senzorů a podrobným návodem k jejímu nastavení. Jak u dronů, tak u bezpilotních letadel rozhoduje o úspěchu kvalita přenosu videa. Váš videosystém musí zkrátit zpoždění. Každý dron potřebuje pro bezpečný let spolehlivé video spojení.
Key Takeaways
Zpoždění přenosu videa pochází ze sítě, zpracování a celé cesty od začátku do konce. Pro bezpečné ovládání dronu se počítá každá milisekunda.
Používejte efektivní kodeky jako H.265 a edge computing pro zkrácení zpoždění. Zpracovávejte data v blízkosti kamery, abyste ušetřili čas potřebný k přenosu dat po síti.
Fúze senzorů kombinuje data z kamery, radaru a LiDARu. To vynahrazuje nedostatky každého senzoru a zvyšuje spolehlivost.
Synchronizace času je velmi důležitá. Porovnejte data ze senzorů s hardwarovými časovými razítky, abyste předešli chybám a urychlili fúzi.
Zrychlete svůj proces spouštěním úloh současně a použitím speciálního hardwaru. Díky tomu bude váš video přenos rychlý a správný.
Zdroje latence při přenosu obrazu
Definování latence a jejího dopadu
Latence je doba mezi akcí a okamžikem, kdy uvidíte výsledek. V systémech reálného času je třeba znát tři typy. Latence sítě je doba, kterou data stráví přenosem mezi zařízeními. Latence zpracování je doba, kterou systém spotřebuje ke kompresi, analýze nebo dekompresi dat. End-to-end latence je součet všech zpoždění od okamžiku, kdy kamera pořídí snímek, až do okamžiku, kdy jej uvidíte na obrazovce.
U videohovoru z dronu způsobují i malé zpoždění velké problémy. Rychle letící dron potřebuje neustálou zpětnou vazbu, aby si mohl upravit trasu. Když se vaše video zpožďuje, tuto zpětnou vazbu ztrácíte. Dron může minout překážku dříve, než ji vůbec uvidíte na obrazovce. Studie ukazují, že výkon klesá, když latence mezi konci dosáhne 100 ms. Při 500 ms je zpoždění příliš riskantní pro bezpečný let. Jiná studie uvádí, že autonomní systémy by měly zůstat pod 170 ms. Tato čísla ukazují, proč je pro řídicí smyčky důležitá každá milisekunda.
Úzká místa v přepravním potrubí
Váš přenos videa má několik bodů zpoždění. Zpoždění kamery nastává, když senzor zachytí a kóduje obraz. Latence přenosu systému je doba, kterou data potřebují k přenosu kabely nebo bezdrátovými spoji. Zpoždění zobrazení přidává zpoždění, když přijímač zobrazí finální obraz. Komprese, přenos a dekomprese přidávají k celkovému počtu zpoždění svá vlastní zpoždění.
Komerční videosystémy UAV ukazují, jak se tato zpoždění sčítají. Základní systémy COFDM obvykle poskytují latenci 35–55 ms . Profesionální systémy COFDM, jako je LinkAV LVD-300, se pohybují v rozmezí 40–65 ms. Uzly IP Mesh pro mobilní ad-hoc sítě běží mezi 70–110 ms. Třípásmové adaptivní systémy spadají do rozmezí 50–90 ms. Tato čísla ukazují celkové zpoždění downlink videa, které můžete od každé technologie očekávat.
Latenci mezi konci můžete měřit pomocí překrytí časových značek . Zapněte funkci časových značek na kameře a poté ji namířte na její vlastní živý výstup. Porovnejte čas v překrytí s časem ve smyčce obrazovky. Tato metoda vám poskytne měření s chybou až jednoho intervalu snímku. Při 25 snímcích za sekundu se váš výpočet latence stává násobkem 40 ms. Znalost těchto úzkých míst vám pomůže zjistit, kde váš systém přenosu obrazu s nízkou latencí ztrácí drahocenný čas.
Techniky pro přenos obrazu s nízkou latencí
Optimalizace komprese a kódování
Volby komprese ovlivňují celý váš videosystém. Bezztrátová komprese zachovává všechny detaily, ale vytváří velké soubory. Ztrátová komprese zahodí některá data, aby se soubory výrazně zmenšily. U video spojení z dronů mohou ztrátové kodeky, jako je H.264, výrazně zmenšit velikost video dat, což umožňuje plynulý přenos videa přes bezdrátové spojení.
Novější kodeky mají různé silné a slabé stránky. H.265 se široce používá pro živé streamování. Funguje spolehlivě, běží na mnoha hardwarových kodérech a poskytuje velmi nízké zpoždění i ve vysoké kvalitě. AV1 se pro živé streamování stále vyvíjí. Pro použití v reálném čase vyžaduje příliš mnoho počítačového výkonu. Každý snímek videa musí být kódován rychle a AV1 s tím má potíže. Pro video s nízkým zpožděním je H.265 bezpečnou volbou . AV1 je vhodný pro budoucí použití, kdy je úspora šířky pásma důležitější než rychlost kódování.
Šířka pásma a dopravní zácpy ovlivňují vaše video. Bezdrátová připojení mají větší zpoždění než kabelová . Kabelové a optické připojení mají obvykle zpoždění menší než 20 ms. Nízká šířka pásma znamená větší zpoždění, takže video pakety dorazí pozdě. Vysoká šířka pásma, ale vysoké zpoždění, poskytuje video dobré kvality, které se někdy zamrzne. Nízká šířka pásma a nízké zpoždění poskytují stabilní video, ale nižší kvalitu. U videa v reálném čase je zpoždění důležitější než šířka pásma.
Pokud je v síti příliš mnoho dat, vytváří se úzké hrdlo . Toto úzké hrdlo způsobuje dopravní zácpy, protože se pakety hromadí. Pakety musí čekat ve frontě, než se odešlou. Čekání ve frontě přidává zpoždění, které zpomaluje počet snímků videa.
Faktor | Vliv na latenci bezdrátového přenosu videa |
|---|---|
Bezdrátové vs | Bezdrátová spojení mají větší zpoždění než kabelová (například kabelová/optická připojení často pod 20 ms), takže je pravděpodobnější, že se video zpoždí. |
Nízká šířka pásma | Menší šířka pásma obvykle znamená větší zpoždění, což zpomaluje doručování video paketů. |
Vysoká šířka pásma + vysoká latence | Může poskytnout video v dobré kvalitě, které se někdy zasekne – šířka pásma zpoždění neopraví. |
Nízká šířka pásma + nízká latence | Poskytuje stabilní, ale méně kvalitní video, zpoždění zobrazení je pro video v reálném čase důležitější než šířka pásma. |
Edge computing a hardwarová akcelerace
Edge computing přesouvá zpracování dat blíže k místu jejich zachycení. Data analyzujete tam, kde je zaznamenáváte, což zkracuje dobu cestování. Místo odesílání videa na vzdálený server je zpracováváte lokálně. To výrazně snižuje zpoždění v síti. Pro video z bezpilotních letounů je edge computing velmi důležitý. Váš dron zpracovává snímky sám a na zem odesílá pouze užitečné výsledky.
Hardwarová akcelerace ještě více vylepšuje edge computing. FPGA a NPU spouštějí modely umělé inteligence s velmi malým zpožděním, což umožňuje zpracování v reálném čase přímo na hardwaru. Získáte zpracování s nízkým zpožděním bez čekání na cloud.
Reálné příklady ukazují tento efekt. Systém pro vyhledávání defektů v elektronických součástkách využíval kompresi modelu, edge computing a hardwarovou akceleraci. Inženýři zmenšili model YOLOv5s ze 73 MB na 1.2 MB . Umístili ho na bránu USR-M300 s akcelerací NPU. Systém běžel rychlostí 35 snímků za sekundu, což je přibližně 28.6 ms na snímek. To bylo dostatečně rychlé pro vyhledávání defektů.
Pro video spojení z vašeho dronu jsou důležité speciální bezdrátové protokoly. Dopředná korekce chyb udržuje spojení stabilní a nízké zpoždění. Tyto protokoly vyhledávají a opravují chyby bez nutnosti opětovného odesílání dat. Vyhnete se tak zpoždění spojenému s dotazováním na ztracené pakety. Video z vašeho dronu zůstává plynulé i v náročných podmínkách.
Technika | Jak to snižuje latenci |
|---|---|
Zmenšuje velikost video dat pro rychlejší odesílání; hardwarové kódování také snižuje zpoždění zpracování. | |
Dostatečná šířka pásma sítě | Zajišťuje rychlý přenos datových paketů mezi kamerou a divákem, čímž se předchází zpožděním v provozu. |
Optimalizované nastavení ukládání do vyrovnávací paměti | Najde správnou velikost vyrovnávací paměti, aby se zabránilo zpoždění i přerušení, a video se tak zdá být rychlejší. |
CDN s více PoP | Odesílá video ze serverů v blízkosti diváků, čímž se zkracuje doba přenosu a ukládání do vyrovnávací paměti. |
Edge computing mění způsob fungování stahování videa. Kombinujete dobrou kompresi s lokálním zpracováním. Váš systém získává inteligentní informace v reálném čase, aniž by potřeboval cloud. To poskytuje nízké zpoždění, které vaše autonomní systémy potřebují.
Klíčové zjištění ohledně kompromisů v oblasti nízké latence: Samotný kodek nerozhoduje o zpoždění ; důležité jsou faktory jako ukládání do vyrovnávací paměti, struktura GOP, nastavení kodéru, síťové podmínky, překódování, transportní protokol, chování přehrávače a adaptivní datový tok. Výběr AV1 automaticky neposkytuje velmi nízké zpoždění a ani výběr H.265 ho nezaručuje. Pro použití v reálném čase je však H.265 stále nejlepší volbou, protože jeho kodéry a dekodéry jsou dobře otestované, zatímco kódování v reálném čase u AV1 je stále třeba kontrolovat, protože může být náročnější, když je nutné každý stream kódovat rychle.
Váš videosystém UAV těží z těchto kombinovaných technik. Dobře komprimujete, zpracováváte na okraji a pro zrychlení používáte hardware. Vaše stahování videa dosahuje rychlosti, kterou vaše řídicí smyčky potřebují. Rychlé výpočty na okraji to umožňují.
Základy fúze senzorů
Role fúze senzorů ve vnímání
Fúze senzorů kombinuje data z mnoha senzorů a vytváří tak jeden jasný obraz o tom, co se děje kolem vás. Kombinujete vstupy z kamer, radaru a LiDARu, abyste opravili slabá místa každého senzoru. Kamera poskytuje ostré snímky, ale selhává ve slabém osvětlení . Radar dobře měří vzdálenost a rychlost za špatného počasí, ale nedokáže číst značky ani vidět barvy. LiDAR vytváří detailní 3D mapy, ale má krátký dosah a je drahý. Když tyto různé zdroje sloučíte, pokryjete slepá místa každého senzoru.
Tento kombinovaný přístup funguje lépe a je spolehlivější než použití pouze jednoho senzoru. Každý senzor samostatně čelí problémům s počasím, šumem signálu a chybami měření. Sloučení dat pomáhá tyto problémy omezit. Redundance také chrání váš systém. Pokud jeden senzor přestane fungovat, ostatní stále poskytují klíčové informace. Pro váš dron nebo UAV je tato spolehlivost důležitá během náročných misí. Samotný video přenos nedokáže zobrazit hloubku, ale přidání radarových dat tuto mezeru vyplní. Proces fúze vytváří kompletní model okolí vašeho vozidla, takže funguje dobře v mnoha podmínkách, včetně špatného počasí a nízké viditelnosti. Tato přesnost přímo zlepšuje vaše vnímání založené na videu.
Výzvy v integraci více senzorů
Synchronizace času je nejtěžší částí kombinování více senzorů. Každý senzor zachycuje data v jiném okamžiku. Kamera zaznamenává snímek v jednom okamžiku, zatímco radar vzorkuje v jiném. Když smícháte data, která nejsou zarovnaná, vytváříte chyby. Tyto chyby zvyšují zpoždění vnímání. U autonomních vozidel způsobují i malé odchylky od správné polohy objektů. Váš systém může reagovat na to, kde se chodec nacházel, nikoli na to, kde se právě nachází. Tato odchylka přímo negativně ovlivňuje kvalitu přenosu videa, protože zobrazené informace se stávají neaktuálními.
Výzkum navrhuje pravděpodobnostní metodu nízkoúrovňové fúze s využitím dat z LiDARu, Radaru a kamery pro dosažení nízké latence. Tento přístup slučuje nezpracovaná měření ze senzorů v rané fázi zpracování, nikoli po samostatném zpracování. Zpoždění se zkrátí přeskočením více kroků zpracování. Data ze senzorů se zpracovávají jednou, na kombinovaných datech, nikoli samostatně pro každý senzor. Tato strategie fúze udržuje krátkou přenosovou cestu a rychlou dobu odezvy.
U vašeho systému přenosu videa z bezpilotního letounu (UAV) má synchronizace přímý vliv na kvalitu videa. Když data ze senzorů dorazí pozdě, překryvné video zobrazuje zastaralé informace. Pro udržení přesného přehledu o dění potřebujete přesné načasování napříč všemi senzory. Váš dron je pro bezpečný let závislý na těchto synchronizovaných datech. Odesílání sloučených dat namísto samostatných streamů snižuje nároky na šířku pásma a udržuje video přenos citlivý. Dobře synchronizovaný systém udržuje stabilní přenos videa i při rychlých pohybech. Vyhnete se chvění způsobenému neshodnými údaji ze senzorů. Sestupné video z vašeho bezpilotního letounu zůstává čisté a vaše řídicí smyčka získává přesná data v každém cyklu.
Implementace fúze senzorů pro nízkou latenci
Algoritmy pro zarovnání dat v reálném čase
Kalmanův filtr je klíčovým nástrojem pro fúzi dat ze senzorů. Používá se ke smíchání dat z IMU a kamery. Tento filtr odhaduje stav vašeho systému. Poté tento odhad opraví pomocí nových údajů ze senzorů. Proces se opakuje ve smyčce. Každý cyklus vám poskytne lepší představu o tom, kde se nacházíte. Tato metoda pomáhá k dobrému fungování přenosu obrazu s nízkou latencí.
Pro systémy, které nejsou lineární, funguje lépe rozšířený Kalmanův filtr (EKF) . Váš dron nebo UAV neletí po přímkách. EKF činí systém lineárním v každém kroku. To vám dává lepší výsledky pro reálné pohyby. Výzkum ukazuje, že fúze senzorů založená na EKF může dosáhnout vysokých frekvencí aktualizace s nízkou latencí, což je vhodné pro systémy v reálném čase.
Výkonnostní testy ukazují, že pokročilé varianty EKF mohou výrazně zlepšit přesnost.
Synchronizace času mezi senzory je stále velkou výzvou. Kamery a radar používají různé hodiny. Kamera obvykle běží s frekvencí 30 až 60 FPS. Radar cykluje různými rychlostmi. To vytváří časové mezery. Problémy se synchronizací na úrovni hardwaru pramení z různých komunikačních metod. Bez společné časové reference je porovnávání událostí nespolehlivé. Zvyšuje se počet falešných poplachů. Změny teploty, vibrace a elektromagnetický šum způsobují časový posun. To v průběhu času snižuje přesnost synchronizace. Špatné zarovnání způsobuje falešně pozitivní a falešně negativní výsledky ve vašem video streamu. Váš systém potřebuje pro dobrou fúzi přesné načasování.
Správná synchronizace může výrazně snížit latenci fúze a zlepšit přesnost.
Optimalizace procesních kanálů
Navrhnete svůj pipeline tak, abyste zkrátili zpoždění. Použít paralelní zpracování jako klíčovou metodu. Rozdělit úlohy mezi více výpočetních jednotek. Jedna jednotka zpracovává kompresi videa. Jiná zpracovává data ze senzorů. Třetí spouští algoritmus fúze. Tato metoda výrazně snižuje zpoždění mezi konci. Získáte nízké zpoždění v celém pipeline.
Systémy založené na FPGA nabízejí slučování senzorů s velmi nízkým zpožděním. FPGA zpracovávají data přímo v hardwaru. Vyhýbají se tak režii softwarového zpracování. Například systém využívající bránu USR-M300 s akcelerací NPU dosáhl inference 35 fps, což demonstruje zpracování v reálném čase. Váš přenos UAV z toho těží. Získáte zpracování v reálném čase, aniž byste čekali na cloud. Toto je edge computing v nejlepším slova smyslu.
K dispozici jsou platformy pro fúzi dat ze senzorů v reálném čase, které podporují přenos dat s nízkou latencí a automaticky zajišťují zarovnání a zpracování dat. Díky tomu je downlink videa rychlejší a spolehlivější.
Pro vaši konfiguraci dodržujte tyto osvědčené postupy. Používejte hardwarová časová razítka k seřazení dat z různých senzorů. Pro správu toku dat instalujte specializované řadiče rozhraní senzorů. Pro včasný sběr dat používejte struktury přerušení specifické pro senzory. K zabránění posunu hodin používejte specializované časovací řadiče nebo hodiny vázané na GPS.
Musíte také správně naladit filtry. Upravte matice Q a R v Kalmanových filtrech. Vyvažte přesnost odhadu s rychlostí. Upravte velikost ladicího okna. Větší okna zvyšují přesnost, ale spotřebovávají více paměti a přidávají zpoždění. Používejte vážení senzorů pro upřednostnění přesnějších vstupů. Pro zařízení s omezenými zdroji používejte matematické operace s pevnou desetinnou čárkou. To snižuje výpočetní zátěž a zajišťuje stabilní doby provádění.
Váš systém přenosu videa z dronu nebo bezpilotního vozidla (UAV) z těchto metod těží. Kombinujete edge computing s akcelerací FPGA. Vaše video data se pohybují datovým kanálem rychle. Fúzní algoritmus je zpracovává v reálném čase. Vaše vysoce výkonná výpočetní sestava se postará o práci. Výsledkem je rychlý přenos videa, který udržuje vaši řídicí smyčku přesnou. Přenos videa se stává spolehlivou součástí vašeho autonomního systému. Váš datový kanál přenosu videa musí být rychlý.
Nízká latence je komplexní výzva. Optimalizujte cestu přenosu videa a procesní postup. Používejte efektivní kompresi, edge computing, hardwarovou akceleraci a robustní algoritmy fúze. Paralelní zpracování rozděluje úlohy mezi vícejádrové procesory nebo FPGA. Hardwarová akcelerace může dosáhnout nízkých inferenčních časů, což umožňuje navigaci v reálném čase pro bezpilotní letouny. Pro váš systém přenosu videa z bezpilotních letounů vyhodnoťte své potřeby. Video spojení z dronu vyžaduje jiné ladění než autonomní vozidlo. Vaše video downlink zůstává citlivé. Váš systém přenosu videa zpracovává fúzi senzorů s minimálním zpožděním. Váš přenos videa závisí na těchto možnostech. Vaše video kanály potřebují nízkou latenci. Vaše video data proudí efektivně. Kvalita videa zůstává vysoká. Váš video stream funguje spolehlivě. Tyto dovednosti jsou důležité s růstem inteligence v reálném čase. Váš dron má z toho prospěch. Bezpilotní letoun pracuje bezpečně. Mise dronu je úspěšná.
Nejčastější dotazy
Jaká je největší výzva v přenosu videa s nízkou latencí pro bezpilotní letouny (UAV)?
Největším problémem je přetížení sítě. Musíte video dobře kódovat. Přenos videa z vašeho dronů by měl používat rozlišení H.265. Stabilní přenos videa udržuje vaši řídicí smyčku rychlou.
Jak fúze senzorů zlepšuje výkon videohovoru z dronů?
Fúze senzorů kombinuje data z kamery a radaru. Tím se snižuje potřeba odděleného zpracování. Video spojení z dronu se zrychlí. Dron získává správná video data. Přenos videa zůstává spolehlivý. Video spojení zůstává stabilní.
Proč je časová synchronizace kritická pro přenos videa z vašeho dronů?
Časová synchronizace zarovnává všechna data ze senzorů. Bez ní se ve videu zobrazují nesprávné polohy. Vaše video data se stávají nespolehlivými. U přenosu videa z dronů tato synchronizace zabraňuje zpožděním. Vaše video downlink zůstává přesné.
Jak může edge computing zlepšit přenos videa?
Edge computing pracuje s videem v blízkosti kamery. Tím se zkracuje doba cestování. Váš dron získává výhodu rychlejšího zpracování videa. Váš dron běží s menším zpožděním. Přenos videa se stává spolehlivějším.
