Un dron serpenteja per un bosc desordenat, i el seu vídeo guia cada gir. Un segon dron ha d'ajustar la seva trajectòria a mesura que s'acosta una ràfega de vent sobtada. Un tercer dron controla la zona des de dalt. Un vehicle autònom detecta un vianant i ha de frenar a l'instant. Aquests sistemes requereixen intel·ligència en temps real. Com s'aconsegueix la latència ultrabaixa necessària per a una presa de decisions segura i autònoma?
La resposta rau en dues àrees connectades: millorar la transmissió d'imatges de baixa latència i combinar bé les dades dels sensors. També cal pensar en el processament en temps real a la vora. Aquesta publicació analitza d'on prové la latència, les maneres de reduir-la, els conceptes bàsics de la fusió de sensors i una guia pas a pas per configurar-la. Tant per als drons com per als UAV, la qualitat de la transmissió de vídeo decideix l'èxit. El vostre sistema de vídeo ha de reduir el retard. Cada dron necessita un enllaç de vídeo fiable per volar amb seguretat.
Sortides de claus
Els retards en la transmissió de vídeo provenen de la xarxa, el processament i tot el camí des del principi fins al final. Cada mil·lisegon compta per al control segur del dron.
Utilitzeu còdecs eficients com ara H.265 i la computació perimetral per reduir el retard. Processeu les dades a prop de la càmera per evitar el temps de viatge de la xarxa.
La fusió de sensors combina dades de càmera, radar i LiDAR. Això compensa els defectes de cada sensor i augmenta la fiabilitat.
La sincronització horària és molt important. Feu coincidir les dades dels sensors amb les marques de temps del maquinari per evitar errors i accelerar la fusió.
Augmenta la teva producció executant tasques alhora i utilitzant maquinari especial. Això manté el flux de vídeo ràpid i correcte.
Fonts de latència en la transmissió d'imatges
Definició de la latència i el seu impacte
La latència és el temps entre una acció i quan es veu el resultat. En sistemes de temps real, cal conèixer tres tipus. La latència de xarxa és el temps que les dades triguen a moure's entre dispositius. La latència de processament és el temps que el sistema utilitza per comprimir, analitzar o descomprimir dades. La latència d'extrem a extrem són tots els retards sumats, des de quan una càmera captura una imatge fins que la veieu en una pantalla.
Per a un enllaç de vídeo amb dron, fins i tot els retards més petits causen grans problemes. Un dron que vola ràpidament necessita una resposta constant per ajustar la seva trajectòria. Quan el vídeo té retard, es perd aquesta resposta. El dron pot passar un obstacle abans que el vegeu a la pantalla. Els estudis mostren que el rendiment disminueix quan la latència d'extrem a extrem arriba als 100 ms. A 500 ms , el retard és massa arriscat per a un vol segur. Un altre estudi diu que els sistemes autònoms haurien de mantenir-se per sota dels 170 ms. Aquestes xifres mostren per què cada mil·lisegon és important per als bucles de control.
Colls d'ampolla a la canonada de transmissió
El canal de transmissió de vídeo té diversos punts de retard. El retard de la càmera es produeix quan el sensor captura i codifica la imatge. La latència de trànsit del sistema és el temps que triguen les dades a moure's a través de cables o enllaços sense fil. El retard de la pantalla afegeix retard quan el receptor mostra la imatge final. La compressió, la transmissió i la descompressió afegeixen els seus propis retards al total.
Els sistemes de vídeo UAV comercials mostren com s'acumulen aquests retards. Els sistemes COFDM de nivell bàsic solen donar entre 35 i 55 ms de latència. Els sistemes COFDM professionals, com el LinkAV LVD-300, oscil·len entre 40 i 65 ms. Els nodes de malla IP per a xarxes mòbils ad-hoc funcionen entre 70 i 110 ms. Els sistemes adaptatius de tres bandes es troben en el rang de 50 a 90 ms. Aquestes xifres mostren el retard total de l'enllaç descendent de vídeo que podeu esperar de cada tecnologia.
Podeu mesurar la latència de punta a punta amb superposicions de marca de temps . Activeu la funció de marca de temps a la càmera i, a continuació, apunteu-la a la seva pròpia sortida en directe. Compareu el temps de la superposició amb el temps del bucle de pantalla. Aquest mètode us proporciona una mesura amb un error de fins a un interval de fotograma. A 25 fotogrames per segon, el càlcul de la latència esdevé un múltiple de 40 ms. Conèixer aquests colls d'ampolla us ajuda a trobar on el vostre sistema de transmissió d'imatges de baixa latència perd un temps preciós.
Tècniques per a la transmissió d'imatges de baixa latència
Optimització de la compressió i la codificació
Les opcions de compressió afecten tot el sistema de vídeo. La compressió sense pèrdues conserva tots els detalls però crea fitxers grans. La compressió amb pèrdues perd algunes dades per fer que els fitxers siguin molt més petits. Per als enllaços de vídeo amb drons, els còdecs amb pèrdues com l'H.264 poden reduir considerablement la mida de les dades de vídeo, fent possible un vídeo fluid a través d'enllaços sense fil.
Els còdecs més nous tenen diferents punts forts i febles. L'H.265 s'utilitza àmpliament per a la transmissió en directe. Funciona de manera fiable, s'executa en molts codificadors de maquinari i ofereix un retard molt baix fins i tot amb alta qualitat. L'AV1 encara s'està desenvolupant per a la transmissió en directe. Necessita massa potència d'ordinador per a ús en temps real. Cada fotograma de vídeo s'ha de codificar ràpidament i l'AV1 té problemes per fer-ho. Per a vídeo amb baix retard, l'H.265 és una opció segura . L'AV1 és bo per a ús futur quan estalviar ample de banda és més important que la velocitat de codificació.
L'amplada de banda i els embussos de trànsit afecten el vídeo. Els enllaços sense fil tenen més retard que els amb cable . El cable i la fibra solen tenir un retard inferior a 20 ms. Una amplada de banda baixa significa més retard, de manera que els paquets de vídeo arriben tard. Una amplada de banda alta però un retard elevat proporciona vídeo de bona qualitat que de vegades es congela. Una amplada de banda baixa i un retard baix proporcionen vídeo estable però de menor qualitat. Per al vídeo en temps real, el retard és més important que l'amplada de banda.
Quan hi ha massa dades per a la xarxa, es crea un coll d'ampolla . Aquest coll d'ampolla provoca embussos de trànsit a mesura que els paquets s'acumulen. Els paquets han d'esperar en cua per ser enviats. Esperar en cua afegeix retard, cosa que alenteix els fotogrames de vídeo.
Factor | Impacte en la latència en la transmissió de vídeo sense fil |
|---|---|
Sense fil vs. amb cable | Els enllaços sense fil tenen més retard que els amb cable (com el cable/fibra sovint menys de 20 ms), per la qual cosa és més probable que el vídeo es retardi. |
Ample de banda baix | Menys ample de banda normalment significa més retard, cosa que alenteix el lliurament de paquets de vídeo. |
Amplada de banda elevada + Alta latència | Pot donar vídeo de bona qualitat que de vegades es congela; l'amplada de banda no soluciona el retard. |
Amplada de banda baixa + baixa latència | Dóna vídeo estable però de menor qualitat, mostrant que el retard és més important que l'amplada de banda per al vídeo en temps real. |
Computació perimetral i acceleració de maquinari
La computació perimetral acosta el processament de dades al lloc on es capturen. Analitzeu les dades on les captureu, cosa que redueix el temps de viatge. En lloc d'enviar vídeo a un servidor llunyà, el processeu localment. Això redueix considerablement els retards de la xarxa. Per al vídeo des de drones, la computació perimetral és molt important. El vostre dron processa imatges sobre si mateix i només envia resultats útils a terra.
L'acceleració per maquinari fa que la computació perimetral sigui encara millor. Les FPGA i les NPU executen models d'IA amb molt poc retard, cosa que permet el processament en temps real al propi maquinari. Obteniu un processament amb poc retard sense esperar el núvol.
Exemples reals mostren l'efecte. Un sistema per trobar defectes en components electrònics utilitzava compressió de models, computació perimetral i acceleració de maquinari. Els enginyers van reduir un model YOLOv5s de 73 MB a 1.2 MB . El van posar en una passarel·la USR-M300 amb acceleració NPU. El sistema funcionava a 35 fotogrames per segon, uns 28.6 ms per fotograma. Això era prou ràpid per trobar defectes.
Per a l'enllaç de vídeo del vostre dron, els protocols sense fil especials són importants. La correcció d'errors directes manté l'enllaç estable i amb un retard baix. Aquests protocols troben i corregeixen errors sense demanar que es tornin a enviar les dades. Eviteu el retard de demanar paquets perduts de nou. El vídeo del vostre UAV es manté fluid fins i tot en condicions difícils.
Tècnica | Com redueix la latència |
|---|---|
Fa que les dades de vídeo siguin més petites per a un enviament més ràpid; la codificació per maquinari també redueix el retard de processament. | |
Ample de banda de xarxa suficient | Assegura que els paquets de dades es moguin ràpidament entre la càmera i l'espectador, evitant retards de trànsit. |
Configuració de memòria intermèdia optimitzada | Troba la mida de memòria intermèdia adequada per evitar retards i interrupcions, fent que el vídeo sembli més ràpid. |
CDN amb múltiples PoPs | Envia vídeo des de servidors propers als espectadors, reduint el temps de viatge i l'emmagatzematge en memòria intermèdia. |
La computació perimetral canvia el funcionament del vostre enllaç descendent de vídeo. Combineu una bona compressió amb el processament local. El vostre sistema obté intel·ligència en temps real sense necessitat del núvol. Això proporciona el baix retard que necessiten els vostres sistemes autònoms.
Conclusió clau sobre els compromisos de baixa latència: el còdec per si sol no decideix el retard ; coses com l'emmagatzematge en memòria intermèdia, l'estructura del GOP, la configuració del codificador, les condicions de la xarxa, la transcodificació, el protocol de transport, el comportament del reproductor i la taxa de bits adaptativa són importants. Triar AV1 no proporciona automàticament un retard molt baix, i triar H.265 tampoc ho garanteix. Però per a ús en temps real, H.265 continua sent una bona opció perquè els seus codificadors i descodificadors estan ben provats, mentre que la codificació en temps real d'AV1 encara necessita comprovació, ja que pot ser més exigent quan cada flux s'ha de codificar ràpidament.
El vostre sistema de vídeo UAV es beneficia d'aquestes tècniques combinades. Comprimiu bé, processeu a la perifèria i utilitzeu maquinari per accelerar. El vostre enllaç descendent de vídeo obté la velocitat que necessiten els vostres bucles de control. La computació ràpida a la perifèria ho fa possible.
Fonaments de la fusió de sensors
El paper de la fusió de sensors en la percepció
La fusió de sensors combina dades de molts sensors per crear una imatge clara del que t'envolta. Combines les entrades de càmeres, radar i LiDAR per solucionar els punts febles de cada sensor. Una càmera ofereix imatges nítides però falla amb poca llum . El radar mesura bé la distància i la velocitat amb mal temps, però no pot llegir els senyals ni veure els colors. El LiDAR crea mapes 3D detallats, però té un abast curt i un cost elevat. Quan fusiones aquestes diferents fonts, cobreixes els punts cecs de cada sensor.
Aquest enfocament combinat funciona millor i és més fiable que utilitzar només un sensor. Cada sensor per si sol s'enfronta a problemes relacionats amb el clima, el soroll del senyal i els errors de mesura. La fusió de dades ajuda a reduir aquests problemes. La redundància també manté el sistema segur. Si un sensor deixa de funcionar, els altres encara proporcionen informació clau. Per al vostre dron o UAV, aquesta fiabilitat és important durant les missions difícils. El vostre flux de vídeo per si sol no pot mostrar la profunditat, però afegir dades de radar omple aquest buit. El procés de fusió crea un model complet de l'entorn del vostre vehicle, de manera que funciona bé en moltes condicions, incloses les inclemències del temps i la baixa visibilitat. Aquesta precisió augmenta directament la vostra percepció basada en vídeo.
Reptes en la integració multisensor
La sincronització horària és la part més difícil de combinar diversos sensors. Cada sensor captura dades en un moment diferent. Una càmera grava un fotograma en un moment, mentre que el radar pren mostres en un altre. Quan barreges dades que no estan alineades, crees errors. Aquests errors afegeixen retard a la teva percepció. En el cas dels vehicles autònoms, fins i tot les desalineacions més petites provoquen posicions incorrectes dels objectes. El teu sistema pot reaccionar a on era un vianant, no a on és ara. Aquesta desalineació perjudica directament la qualitat de la transmissió de vídeo, perquè la informació que es mostra es torna obsoleta.
La recerca suggereix un mètode de fusió probabilístic de baix nivell que utilitza dades LiDAR, RADAR i de càmera per aconseguir una latència baixa. Aquest enfocament fusiona les mesures en brut dels sensors al principi del procés, no després d'un processament separat. Es redueix el retard ometent diversos passos de processament. Les dades dels sensors es gestionen una vegada, sobre les dades combinades, en lloc de per separat per a cada sensor. Aquesta estratègia de fusió manté la ruta de transmissió curta i el temps de resposta ràpid.
Per al sistema de transmissió de vídeo del vostre UAV, la sincronització afecta directament la qualitat del vídeo. Quan les dades dels sensors arriben tard, la superposició de vídeo mostra informació obsoleta. Necessiteu una sincronització exacta a tots els sensors per mantenir una consciència precisa. El vostre dron depèn d'aquestes dades sincronitzades per a un vol segur. L'enviament de dades fusionades, en lloc de fluxos separats, redueix les necessitats d'ample de banda i manté el vostre flux de vídeo sensible. Un sistema ben sincronitzat manté la transmissió de vídeo estable fins i tot durant moviments ràpids. Eviteu les fluctuacions de les lectures dels sensors no coincidents. L'enllaç descendent de vídeo del vostre UAV es manté clar i el vostre bucle de control obté dades precises cada cicle.
Implementació de la fusió de sensors per a una baixa latència
Algoritmes per a l'alineació de dades en temps real
El filtre de Kalman és una eina clau per a la fusió de sensors. S'utilitza per barrejar dades d'una IMU i una càmera. Aquest filtre endevina l'estat del sistema. Després, corregeix aquesta conjectura amb noves lectures del sensor. El procés es repeteix en bucle. Cada cicle et dóna una millor idea d'on et trobes. Aquest mètode ajuda a que la transmissió d'imatges de baixa latència funcioni bé.
Per a sistemes que no són lineals, el filtre de Kalman estès (EKF) funciona millor. El vostre dron o UAV no vola en línia recta. L'EKF fa que el sistema sigui lineal a cada pas. Això us dóna millors resultats per a moviments reals. La investigació demostra que la fusió de sensors basada en EKF pot aconseguir altes taxes d'actualització amb baixa latència, adequades per a sistemes en temps real.
Les proves de rendiment mostren que les variants avançades d'EKF poden millorar significativament la precisió.
La sincronització temporal entre sensors continua sent un gran repte. Les càmeres i els radars utilitzen rellotges diferents. Una càmera sol funcionar a 30 a 60 FPS. El radar fa cicles a velocitats diferents. Això crea intervals de temps. Els problemes de sincronització a nivell de maquinari provenen de diferents mètodes de comunicació. Sense una referència temporal comuna , els esdeveniments coincidents no són fiables. Es produeixen falses alarmes. Els canvis de temperatura, les vibracions i el soroll electromagnètic provoquen una deriva temporal. Això perjudica la precisió de la sincronització al llarg del temps. Una mala alineació provoca falsos positius i falsos negatius al flux de vídeo. El sistema necessita una sincronització precisa per a una bona fusió.
Una sincronització adequada pot reduir significativament la latència de la fusió i millorar la precisió.
Optimització de les canonades de processament
Dissenyeu el vostre pipeline per reduir el retard. Utilitzeu el processament paral·lel com a mètode clau. Dividiu les tasques entre diverses unitats de càlcul. Una unitat gestiona la compressió de vídeo. Una altra processa les dades dels sensors. Una tercera executa l'algoritme de fusió. Aquest mètode redueix molt el retard d'extrem a extrem. Obteniu un retard baix en tot el pipeline.
Els sistemes basats en FPGA ofereixen una fusió de sensors amb un retard molt baix. Les FPGA processen les dades directament al maquinari. Eviten la sobrecàrrega del processament de programari. Per exemple, un sistema que utilitza una passarel·la USR-M300 amb acceleració NPU va aconseguir una inferència de 35 fps, demostrant el processament en temps real. La transmissió del vostre UAV se'n beneficia. Obteniu processament en temps real sense esperar el núvol. Això és la computació perimetral en la seva màxima expressió.
Hi ha plataformes disponibles per a la fusió de sensors en temps real que admeten la transmissió de dades de baixa latència, gestionant l'alineació i el processament de dades automàticament. Això fa que el vostre enllaç descendent de vídeo sigui més ràpid i fiable.
Seguiu aquestes pràctiques recomanades per a la vostra configuració. Utilitzeu marques de temps basades en maquinari per alinear les dades de diferents sensors. Instal·leu controladors d'interfície de sensor dedicats per gestionar el flux de dades. Utilitzeu estructures d'interrupció específiques del sensor per a una captura de dades oportuna. Utilitzeu controladors de temps dedicats o rellotges bloquejats per GPS per aturar la deriva del rellotge.
També heu d'ajustar els filtres correctament. Ajusteu les matrius Q i R dels filtres de Kalman. Equilibreu la precisió de l'estimació amb la velocitat. Ajusteu la mida de la finestra d'ajust. Les finestres més grans milloren la precisió però utilitzen més memòria i afegeixen retard. Utilitzeu la ponderació del sensor per afavorir entrades més precises. Utilitzeu matemàtiques de punt fix per a dispositius amb recursos limitats. Això redueix el treball de càlcul i garanteix temps d'execució estables.
El sistema de transmissió de vídeo del vostre dron o UAV es beneficia d'aquests mètodes. Combineu la computació perimetral amb l'acceleració FPGA. Les vostres dades de vídeo es mouen ràpidament pel canal. L'algoritme de fusió els processa en temps real. La vostra configuració de computació d'alt rendiment s'encarrega de la feina. El resultat és un flux de vídeo ràpid que manté el vostre bucle de control precís. La vostra transmissió de vídeo es converteix en una part fiable del vostre sistema autònom. El vostre canal de transmissió de vídeo ha de ser ràpid.
La baixa latència és un repte holístic. Optimitzeu la ruta de transmissió de vídeo i el canal de processament. Utilitzeu una compressió eficient, computació perimetral, acceleració de maquinari i algoritmes de fusió robustos. El processament paral·lel distribueix tasques entre processadors multinucli o FPGA. L'acceleració de maquinari pot aconseguir temps d'inferència baixos, permetent la navegació en temps real per a UAV. Per al vostre sistema de transmissió de vídeo UAV, avalueu les vostres necessitats. Un enllaç de vídeo de dron necessita una sintonització diferent a la d'un vehicle autònom. El vostre enllaç descendent de vídeo es manté sensible. El vostre sistema de transmissió de vídeo gestiona la fusió de sensors amb un retard mínim. La vostra transmissió de vídeo depèn d'aquestes opcions. Els vostres canals de vídeo necessiten una baixa latència. Les vostres dades de vídeo flueixen de manera eficient. La qualitat del vídeo es manté alta. El vostre flux de vídeo funciona de manera fiable. Aquestes habilitats són importants a mesura que la intel·ligència en temps real creix. El vostre dron es beneficia. UAV funciona amb seguretat. La missió del dron té èxit.
FAQ
Quin és el repte més gran en la transmissió de vídeo de baixa latència per a UAV?
El problema més gran és la congestió de la xarxa. Cal codificar bé el vídeo. La transmissió de vídeo del vostre uav ha d'utilitzar H.265. Un enllaç descendent de vídeo constant manté el bucle de control ràpid.
Com millora la fusió de sensors el rendiment de l'enllaç de vídeo amb drons?
La fusió de sensors combina dades de càmera i radar. Això redueix el processament separat. L'enllaç de vídeo del dron es torna més ràpid. El dron rep dades de vídeo correctes. La transmissió de vídeo es manté fiable. L'enllaç de vídeo es manté estable.
Per què la sincronització horària és fonamental per a la transmissió de vídeo del vostre UAV?
La sincronització temporal alinea totes les dades dels sensors. Sense ella, el vídeo mostra posicions incorrectes. Les dades de vídeo no són fiables. Per a la transmissió de vídeo amb UAV, aquesta sincronització evita retards. L'enllaç descendent de vídeo es manté precís.
Com pot la computació perimetral millorar la transmissió de vídeo?
La computació perimetral funciona amb vídeo a prop de la càmera. Això redueix el temps de viatge. El vostre dron es beneficia d'un processament de vídeo més ràpid. El vostre uav funciona amb menys retard. La vostra transmissió de vídeo esdevé més fiable.
