Un drone si muove agilmente in una foresta intricata, guidato dalle immagini video che lo accompagnano in ogni svolta. Un secondo UAV deve correggere la sua traiettoria all'avvicinarsi di una raffica di vento improvvisa. Un terzo UAV monitora l'area dall'alto. Un veicolo autonomo individua un pedone e deve frenare all'istante. Questi sistemi richiedono informazioni in tempo reale. Come si ottiene la latenza estremamente bassa necessaria per un processo decisionale autonomo e sicuro?
La risposta risiede in due aree interconnesse: migliorare la trasmissione delle immagini a bassa latenza e combinare efficacemente i dati dei sensori. È inoltre necessario considerare l'elaborazione in tempo reale a livello locale. Questo articolo analizza le cause della latenza, i metodi per ridurla, i principi di base della fusione dei sensori e fornisce una guida passo passo per la sua configurazione. Sia per i droni che per gli UAV, la qualità della trasmissione video è fondamentale per il successo. Il sistema video deve ridurre al minimo il ritardo. Ogni drone necessita di un collegamento video affidabile per volare in sicurezza.
Punti chiave
I ritardi nella trasmissione video dipendono dalla rete, dall'elaborazione e dall'intero percorso, dall'inizio alla fine. Ogni millisecondo conta per un controllo sicuro del drone.
Utilizza codec efficienti come H.265 e l'edge computing per ridurre la latenza. Elabora i dati vicino alla telecamera per evitare tempi di trasmissione sulla rete.
La fusione dei sensori combina i dati di telecamera, radar e LiDAR. Questo compensa le imperfezioni di ciascun sensore e aumenta l'affidabilità.
La sincronizzazione temporale è fondamentale. Far coincidere i dati dei sensori con i timestamp hardware permette di prevenire errori e velocizzare la fusione dei dati.
Velocizza la tua pipeline eseguendo le attività contemporaneamente e utilizzando hardware dedicato. In questo modo il flusso video rimarrà rapido e preciso.
Fonti di latenza nella trasmissione delle immagini
Definizione di latenza e suo impatto
La latenza è il tempo che intercorre tra un'azione e il momento in cui se ne visualizza il risultato. Nei sistemi in tempo reale, è necessario conoscerne tre tipi. La latenza di rete è il tempo impiegato dai dati per spostarsi tra i dispositivi. La latenza di elaborazione è il tempo che il sistema utilizza per comprimere, analizzare o decomprimere i dati. La latenza end-to-end è la somma di tutti i ritardi, dal momento in cui una telecamera cattura un'immagine al momento in cui la si visualizza su uno schermo.
Per un collegamento video con un drone, anche i minimi ritardi causano grossi problemi. Un drone che vola velocemente ha bisogno di un feedback costante per correggere la sua traiettoria. Quando il video subisce un ritardo, si perde questo feedback. Il drone potrebbe superare un ostacolo prima ancora che lo si veda sullo schermo. Gli studi dimostrano che le prestazioni calano quando la latenza end-to-end raggiunge i 100 ms. A 500 ms , il ritardo è troppo rischioso per un volo sicuro. Un altro studio afferma che i sistemi autonomi dovrebbero rimanere al di sotto dei 170 ms. Questi dati dimostrano perché ogni millisecondo conta per i circuiti di controllo.
Colli di bottiglia nella condotta di trasmissione
La pipeline di trasmissione video presenta diversi punti di ritardo. Il ritardo della telecamera si verifica quando il sensore acquisisce e codifica l'immagine. La latenza di transito del sistema è il tempo impiegato dai dati per viaggiare attraverso cavi o collegamenti wireless. Il ritardo di visualizzazione aggiunge un ulteriore ritardo quando il ricevitore mostra l'immagine finale. Compressione, trasmissione e decompressione aggiungono ciascuna un proprio ritardo al totale.
I sistemi video commerciali per droni mostrano come si sommano questi ritardi. I sistemi COFDM di base presentano in genere una latenza di 35-55 ms . I sistemi COFDM professionali, come il LinkAV LVD-300, variano da 40 a 65 ms. I nodi IP Mesh per reti mobili ad hoc hanno una latenza compresa tra 70 e 110 ms. I sistemi adattivi tri-band rientrano nell'intervallo tra 50 e 90 ms. Questi valori mostrano il ritardo totale di downlink video che ci si può aspettare da ciascuna tecnologia.
È possibile misurare la latenza end-to-end con la sovrapposizione di timestamp . Attiva la funzione timestamp sulla tua telecamera, quindi puntala verso la sua uscita video in diretta. Confronta l'ora nella sovrapposizione con l'ora visualizzata nel loop a schermo. Questo metodo fornisce una misurazione con un margine di errore massimo di un intervallo di fotogrammi. A 25 fotogrammi al secondo, il calcolo della latenza diventa un multiplo di 40 ms. Conoscere questi colli di bottiglia ti aiuta a individuare i punti in cui il tuo sistema di trasmissione di immagini a bassa latenza perde tempo prezioso.
Tecniche per la trasmissione di immagini a bassa latenza
Ottimizzazione della compressione e della codifica
Le scelte di compressione influiscono sull'intero sistema video. La compressione senza perdita di dati (lossless) conserva tutti i dettagli, ma genera file di grandi dimensioni. La compressione con perdita di dati (lossy) elimina parte dei dati per ridurre significativamente le dimensioni dei file. Per i collegamenti video con droni, i codec con perdita di dati come H.264 possono ridurre notevolmente le dimensioni dei file video, consentendo una riproduzione fluida anche su connessioni wireless.
I codec più recenti presentano diversi punti di forza e di debolezza. L'H.265 è ampiamente utilizzato per lo streaming live. Funziona in modo affidabile, è compatibile con molti encoder hardware e offre una latenza molto bassa anche ad alta qualità. L'AV1 è ancora in fase di sviluppo per lo streaming live. Richiede troppa potenza di calcolo per l'utilizzo in tempo reale. Ogni fotogramma video deve essere codificato rapidamente e l'AV1 ha difficoltà a farlo. Per video a bassa latenza, l'H.265 è una scelta sicura . L'AV1 è adatto per un utilizzo futuro, quando il risparmio di larghezza di banda è più importante della velocità di codifica.
La larghezza di banda e i problemi di traffico influiscono sulla qualità video. I collegamenti wireless presentano un ritardo maggiore rispetto a quelli cablati . Le connessioni via cavo e fibra ottica hanno solitamente un ritardo inferiore a 20 ms. Una larghezza di banda ridotta comporta un ritardo maggiore, quindi i pacchetti video arrivano in ritardo. Una larghezza di banda elevata, ma con un ritardo elevato, offre una buona qualità video, sebbene a volte si verifichino blocchi. Una larghezza di banda ridotta e un ritardo basso garantiscono un video stabile, ma di qualità inferiore. Per i video in tempo reale, il ritardo è più importante della larghezza di banda.
Quando la rete è sovraccaricata di dati, si crea un collo di bottiglia . Questo collo di bottiglia provoca ingorghi dovuti all'accumulo di pacchetti. I pacchetti devono attendere in coda prima di essere inviati. L'attesa in coda introduce un ritardo, che a sua volta rallenta i fotogrammi video.
Fattore | Impatto sulla latenza nella trasmissione video wireless |
|---|---|
Wireless vs cablato | Le connessioni wireless presentano un ritardo maggiore rispetto a quelle cablate (come quelle via cavo/fibra, spesso inferiore a 20 ms), pertanto è più probabile che i video subiscano un ritardo. |
Bassa larghezza di banda | Una larghezza di banda inferiore solitamente comporta un maggiore ritardo, rallentando la trasmissione dei pacchetti video. |
Larghezza di banda elevata + latenza elevata | Può fornire video di buona qualità che a volte si bloccano: la larghezza di banda non risolve il problema del ritardo. |
Bassa larghezza di banda + bassa latenza | Offre un video stabile ma di qualità inferiore, a dimostrazione che il ritardo è più importante della larghezza di banda per i video in tempo reale. |
Edge computing e accelerazione hardware
L'edge computing sposta l'elaborazione dei dati più vicino al punto in cui vengono acquisiti. I dati vengono analizzati direttamente nel luogo di acquisizione, riducendo i tempi di trasmissione. Invece di inviare i video a un server distante, vengono elaborati localmente. Ciò riduce notevolmente i ritardi di rete. Per i video ripresi dai droni, l'edge computing è fondamentale. Il drone elabora le immagini in autonomia e invia a terra solo i risultati utili.
L'accelerazione hardware rende l'edge computing ancora più efficiente. FPGA e NPU eseguono modelli di intelligenza artificiale con un ritardo minimo, consentendo l'elaborazione in tempo reale direttamente sull'hardware. Si ottiene un'elaborazione a bassa latenza senza dover attendere il cloud.
Esempi concreti ne dimostrano l'efficacia. Un sistema per l'individuazione di difetti nei componenti elettronici ha utilizzato la compressione dei modelli, l'edge computing e l'accelerazione hardware. Gli ingegneri hanno ridotto le dimensioni di un modello YOLOv5s da 73 MB a 1.2 MB . Lo hanno poi eseguito su un gateway USR-M300 con accelerazione NPU. Il sistema ha funzionato a 35 fotogrammi al secondo, con un tempo di elaborazione di circa 28.6 ms per fotogramma. Questa velocità era sufficiente per individuare i difetti.
Per il collegamento video del tuo drone, sono importanti protocolli wireless specifici. La correzione degli errori in avanti (FEC) mantiene il collegamento stabile e a bassa latenza. Questi protocolli individuano e correggono gli errori senza richiedere la ritrasmissione dei dati. In questo modo si evita il ritardo dovuto alla richiesta di recupero dei pacchetti persi. Il video del tuo drone rimarrà fluido anche in condizioni difficili.
Tecnica | Come riduce la latenza |
|---|---|
Riduce le dimensioni dei dati video per un invio più rapido; la codifica hardware riduce anche i tempi di elaborazione. | |
Larghezza di banda di rete sufficiente | Garantisce un rapido trasferimento dei pacchetti di dati tra la telecamera e il visualizzatore, evitando ritardi dovuti al traffico dati. |
Impostazioni di buffering ottimizzate | Trova la dimensione ottimale del buffer per evitare ritardi e interruzioni, rendendo la riproduzione video più fluida. |
CDN con più PoP | Trasmette i video da server vicini agli spettatori, riducendo i tempi di trasmissione e il buffering. |
L'edge computing rivoluziona il funzionamento del downlink video. Combinando una compressione di alta qualità con l'elaborazione locale, il sistema ottiene informazioni in tempo reale senza bisogno del cloud. Questo garantisce la bassa latenza necessaria ai sistemi autonomi.
Principale conclusione sui compromessi relativi alla bassa latenza: il codec da solo non determina il ritardo ; fattori come il buffering, la struttura GOP, le impostazioni dell'encoder, le condizioni di rete, la transcodifica, il protocollo di trasporto, il comportamento del player e il bitrate adattivo sono tutti importanti. Scegliere AV1 non garantisce automaticamente un ritardo molto basso, e nemmeno scegliere H.265 lo assicura. Tuttavia, per l'utilizzo in tempo reale, H.265 rimane una scelta eccellente perché i suoi encoder e decoder sono ben collaudati, mentre la codifica in tempo reale di AV1 necessita ancora di verifiche, poiché può risultare più impegnativa quando ogni flusso deve essere codificato rapidamente.
Il sistema video del tuo drone trae vantaggio da queste tecniche combinate. Comprimi efficacemente, elabori i dati in locale e utilizzi l'hardware per velocizzare il tutto. Il tuo collegamento video in uscita raggiunge la velocità necessaria ai tuoi circuiti di controllo. Tutto ciò è reso possibile dall'elaborazione rapida in locale.
Principi fondamentali della fusione dei sensori
Il ruolo della fusione sensoriale nella percezione
La fusione dei sensori combina i dati provenienti da diversi sensori per creare un'immagine chiara e completa dell'ambiente circostante. Si uniscono gli input di telecamere, radar e LiDAR per compensare i punti deboli di ciascun sensore. Una telecamera, ad esempio, fornisce immagini nitide ma non è efficace in condizioni di scarsa illuminazione . Il radar misura con precisione distanza e velocità in caso di maltempo, ma non è in grado di leggere la segnaletica o distinguere i colori. Il LiDAR crea mappe 3D dettagliate, ma ha una portata limitata e costi elevati. Unendo queste diverse fonti di dati, si colmano le lacune di ciascun sensore.
Questo approccio combinato funziona meglio ed è più affidabile rispetto all'utilizzo di un singolo sensore. Ogni sensore, preso singolarmente, è soggetto a problemi dovuti alle condizioni meteorologiche, al rumore del segnale e agli errori di misurazione. La fusione dei dati contribuisce a ridurre questi problemi. La ridondanza, inoltre, garantisce la sicurezza del sistema. Se un sensore smette di funzionare, gli altri continuano a fornire informazioni fondamentali. Per il vostro drone o UAV, questa affidabilità è cruciale durante le missioni più impegnative. Il solo flusso video non può mostrare la profondità, ma l'aggiunta dei dati radar colma questa lacuna. Il processo di fusione crea un modello completo dell'ambiente circostante del veicolo, garantendo prestazioni ottimali in diverse condizioni, tra cui maltempo e scarsa visibilità. Questa precisione migliora direttamente la percezione basata sul video.
Sfide nell'integrazione multisensore
La sincronizzazione temporale è la parte più difficile nella combinazione di più sensori. Ogni sensore acquisisce dati in un momento diverso. Una telecamera registra un fotogramma in un determinato istante, mentre il radar lo campiona in un altro. Quando si combinano dati non allineati, si creano errori. Questi errori introducono un ritardo nel flusso di elaborazione delle informazioni. Per i veicoli autonomi, anche minimi disallineamenti causano posizioni errate degli oggetti. Il sistema potrebbe reagire in base a dove si trovava un pedone, anziché a dove si trova ora. Questo disallineamento compromette direttamente la qualità della trasmissione video, perché le informazioni visualizzate diventano obsolete.
La ricerca suggerisce un metodo di fusione probabilistico di basso livello che utilizza dati LiDAR, RADAR e telecamere per ottenere una bassa latenza. Questo approccio unisce le misurazioni grezze dei sensori nelle prime fasi del processo, anziché dopo un'elaborazione separata. Si riduce il ritardo saltando diverse fasi di elaborazione. I dati dei sensori vengono gestiti una sola volta, sui dati combinati, invece che separatamente per ciascun sensore. Questa strategia di fusione mantiene breve il percorso di trasmissione e rapido il tempo di risposta.
Per il sistema di trasmissione video del tuo drone, la sincronizzazione influisce direttamente sulla qualità del video. Quando i dati dei sensori arrivano in ritardo, la sovrapposizione video mostra informazioni obsolete. È necessaria una sincronizzazione precisa tra tutti i sensori per mantenere una visione accurata della situazione. Il tuo drone dipende da questi dati sincronizzati per un volo sicuro. L'invio di dati fusi, anziché di flussi separati, riduce il fabbisogno di larghezza di banda e mantiene il flusso video reattivo. Un sistema ben sincronizzato mantiene stabile la trasmissione video anche durante movimenti rapidi. Si evitano le oscillazioni dovute a letture non corrispondenti dei sensori. Il downlink video del drone rimane nitido e il circuito di controllo riceve dati precisi a ogni ciclo.
Implementazione della fusione dei sensori per una bassa latenza
Algoritmi per l'allineamento dei dati in tempo reale
Il filtro di Kalman è uno strumento fondamentale per la fusione dei dati provenienti dai sensori. Viene utilizzato per combinare i dati di un'unità di misura inerziale (IMU) e di una telecamera. Questo filtro stima lo stato del sistema e poi lo corregge con le nuove letture dei sensori. Il processo si ripete ciclicamente, fornendo ogni volta una stima più precisa della situazione. Questo metodo contribuisce a una trasmissione delle immagini a bassa latenza efficace.
Per i sistemi non lineari, il filtro di Kalman esteso (EKF) funziona meglio. Il vostro drone o UAV non vola in linea retta. L'EKF rende il sistema lineare a ogni passo. Questo vi fornisce risultati migliori per i movimenti reali. La ricerca dimostra che la fusione di sensori basata sull'EKF può raggiungere elevate frequenze di aggiornamento con bassa latenza, adatte ai sistemi in tempo reale.
I test prestazionali dimostrano che le varianti avanzate dell'EKF possono migliorare significativamente la precisione.
La sincronizzazione temporale tra i sensori rappresenta ancora una grande sfida. Telecamere e radar utilizzano orologi diversi. Una telecamera in genere funziona a una velocità compresa tra 30 e 60 fotogrammi al secondo (FPS), mentre il radar opera a velocità diverse. Questo crea degli intervalli di tempo. I problemi di sincronizzazione a livello hardware derivano da diversi metodi di comunicazione. Senza un riferimento temporale comune , l'abbinamento degli eventi risulta inaffidabile. Si generano falsi allarmi. Variazioni di temperatura, vibrazioni e rumore elettromagnetico causano una deriva temporale, che a lungo andare compromette la precisione della sincronizzazione. Un allineamento errato genera falsi positivi e falsi negativi nel flusso video. Il sistema necessita di una temporizzazione precisa per una fusione efficace dei dati.
Una corretta sincronizzazione può ridurre significativamente la latenza di fusione e migliorare la precisione.
Ottimizzazione delle pipeline di elaborazione
Progetta la tua pipeline per ridurre al minimo il ritardo. Utilizza l'elaborazione parallela come metodo chiave. Suddividi le attività su più unità di calcolo. Un'unità gestisce la compressione video, un'altra elabora i dati dei sensori e una terza esegue l'algoritmo di fusione. Questo metodo riduce notevolmente il ritardo end-to-end, garantendo un basso ritardo lungo tutta la pipeline.
I sistemi basati su FPGA offrono una fusione dei sensori con latenza molto bassa. Gli FPGA elaborano i dati direttamente nell'hardware, eliminando il sovraccarico dell'elaborazione software. Ad esempio, un sistema che utilizza un gateway USR-M300 con accelerazione NPU ha raggiunto un'inferenza di 35 fps, dimostrando l'elaborazione in tempo reale. La trasmissione dei vostri droni ne trae vantaggio, ottenendo un'elaborazione in tempo reale senza dover attendere il cloud. Questo è l'edge computing nella sua forma migliore.
Sono disponibili piattaforme per la fusione di sensori in tempo reale che supportano la trasmissione dati a bassa latenza, gestendo automaticamente l'allineamento e l'elaborazione dei dati. Ciò rende il downlink video più veloce e affidabile.
Segui queste best practice per la tua configurazione. Utilizza timestamp basati su hardware per allineare i dati provenienti da sensori diversi. Installa controller di interfaccia dedicati per i sensori per gestire il flusso di dati. Utilizza strutture di interrupt specifiche per ciascun sensore per un'acquisizione tempestiva dei dati. Utilizza controller di temporizzazione dedicati o orologi sincronizzati con il GPS per evitare la deriva dell'orologio.
È inoltre necessario calibrare correttamente i filtri. Regolate le matrici Q e R nei filtri di Kalman. Trovate un equilibrio tra precisione di stima e velocità. Regolate la dimensione della finestra di sintonizzazione. Finestre più grandi migliorano la precisione, ma consumano più memoria e introducono un ritardo. Utilizzate la ponderazione dei sensori per privilegiare gli input più precisi. Utilizzate l'aritmetica a virgola fissa per i dispositivi con risorse limitate. Questo riduce il carico computazionale e garantisce tempi di esecuzione stabili.
Il sistema di trasmissione video del tuo drone o UAV trae vantaggio da questi metodi. Combinando l'edge computing con l'accelerazione FPGA, i dati video transitano rapidamente attraverso la pipeline. L'algoritmo di fusione li elabora in tempo reale. La tua configurazione di calcolo ad alte prestazioni si occupa dell'elaborazione. Il risultato è un flusso video veloce che mantiene preciso il ciclo di controllo. La trasmissione video diventa una parte affidabile del tuo sistema autonomo. La pipeline di trasmissione video deve essere veloce.
La bassa latenza è una sfida complessa. Ottimizza il percorso di trasmissione video e la pipeline di elaborazione. Utilizza una compressione efficiente, l'edge computing, l'accelerazione hardware e algoritmi di fusione robusti. L'elaborazione parallela distribuisce le attività su processori multi-core o FPGA. L'accelerazione hardware può raggiungere tempi di inferenza ridotti, consentendo la navigazione in tempo reale per i droni. Per il tuo sistema di trasmissione video per droni, valuta le tue esigenze. Un collegamento video per droni richiede una messa a punto diversa rispetto a un veicolo autonomo. Il tuo downlink video deve rimanere reattivo. Il tuo sistema di trasmissione video deve gestire la fusione dei sensori con un ritardo minimo. La tua trasmissione video dipende da queste scelte. I tuoi flussi video devono avere bassa latenza. I tuoi dati video devono fluire in modo efficiente. La qualità video deve rimanere elevata. Il tuo flusso video deve funzionare in modo affidabile. Queste competenze sono importanti man mano che l'intelligenza in tempo reale cresce. Il tuo drone ne trae vantaggio. Il drone opera in sicurezza. La missione del drone ha successo.
FAQ
Qual è la sfida più grande nella trasmissione video a bassa latenza per i droni?
Il problema principale è la congestione della rete. È necessario codificare bene il video. La trasmissione video del drone dovrebbe utilizzare il codec H.265. Un collegamento video stabile in downlink mantiene veloce il ciclo di controllo.
In che modo la fusione dei sensori migliora le prestazioni del collegamento video del drone?
La fusione dei sensori combina i dati della telecamera e del radar. Questo riduce la necessità di elaborazione separata. Il collegamento video del tuo drone diventa più veloce. Il tuo drone riceve dati video corretti. La trasmissione video rimane affidabile. Il collegamento video rimane stabile.
Perché la sincronizzazione temporale è fondamentale per la trasmissione video del tuo drone?
La sincronizzazione temporale allinea tutti i dati dei sensori. Senza di essa, il video mostrerà posizioni errate e i dati video diventeranno inaffidabili. Per la trasmissione video da droni, questa sincronizzazione evita ritardi e garantisce la precisione del downlink video.
In che modo l'edge computing può migliorare la trasmissione video?
L'edge computing elabora i video in prossimità della telecamera, riducendo i tempi di trasmissione. Il drone beneficia di un'elaborazione video più rapida, con un ritardo minore e una trasmissione video più affidabile.
