Un dron se mueve entre la maleza del bosque, guiando cada movimiento con su señal de vídeo. Un segundo UAV debe ajustar su trayectoria ante la llegada de una ráfaga de viento repentina. Un tercer UAV monitoriza la zona desde arriba. Un vehículo autónomo detecta a un peatón y debe frenar al instante. Estos sistemas requieren inteligencia en tiempo real. ¿Cómo se logra la latencia ultrabaja necesaria para una toma de decisiones segura y autónoma?
La respuesta reside en dos áreas interrelacionadas: mejorar la transmisión de imágenes con baja latencia y combinar eficazmente los datos de los sensores. También es necesario considerar el procesamiento en tiempo real en el dispositivo. Este artículo analiza el origen de la latencia, las formas de reducirla, los fundamentos de la fusión de sensores y ofrece una guía paso a paso para su configuración. Tanto para drones como para vehículos aéreos no tripulados (UAV), la calidad de la transmisión de vídeo es crucial para el éxito. El sistema de vídeo debe minimizar el retardo. Todo dron necesita una conexión de vídeo fiable para volar con seguridad.
Puntos Clave
Los retrasos en la transmisión de vídeo se deben a la red, al procesamiento y a todo el proceso, desde el inicio hasta el final. Cada milisegundo cuenta para un control seguro del dron.
Utilice códecs eficientes como H.265 y computación perimetral para reducir la latencia. Procese los datos cerca de la cámara para evitar el tiempo de transmisión en la red.
La fusión de sensores combina datos de cámaras, radares y LiDAR. Esto compensa las deficiencias de cada sensor y aumenta la fiabilidad.
La sincronización horaria es muy importante. Haga coincidir los datos de los sensores con las marcas de tiempo del hardware para evitar errores y agilizar la fusión.
Agiliza tu flujo de trabajo ejecutando tareas simultáneamente y utilizando hardware especializado. Esto garantiza una transmisión de vídeo rápida y precisa.
Fuentes de latencia en la transmisión de imágenes
Definición de latencia y su impacto
La latencia es el tiempo que transcurre entre una acción y el momento en que se observa el resultado. En sistemas en tiempo real, es necesario conocer tres tipos. La latencia de red es el tiempo que tardan los datos en transmitirse entre dispositivos. La latencia de procesamiento es el tiempo que el sistema emplea para comprimir, analizar o descomprimir datos. La latencia de extremo a extremo es la suma de todos los retrasos, desde que una cámara captura una imagen hasta que se visualiza en la pantalla.
En la transmisión de vídeo con drones, incluso los retrasos más pequeños causan grandes problemas. Un dron que vuela a gran velocidad necesita retroalimentación constante para ajustar su trayectoria. Cuando el vídeo se retrasa, se pierde esa retroalimentación. El dron puede sortear un obstáculo antes de que lo veas en la pantalla. Los estudios demuestran que el rendimiento disminuye cuando la latencia de extremo a extremo alcanza los 100 ms. Con 500 ms , el retraso es demasiado arriesgado para un vuelo seguro. Otro estudio indica que los sistemas autónomos deberían mantenerse por debajo de los 170 ms. Estas cifras demuestran por qué cada milisegundo cuenta para los bucles de control.
Cuellos de botella en la red de transmisión
Tu sistema de transmisión de vídeo presenta varios puntos de retardo. El retardo de la cámara se produce cuando el sensor captura y codifica la imagen. La latencia de tránsito del sistema es el tiempo que tardan los datos en viajar a través de cables o enlaces inalámbricos. El retardo de visualización añade un retraso cuando el receptor muestra la imagen final. La compresión, la transmisión y la descompresión también añaden sus propios retrasos al total.
Los sistemas de vídeo comerciales para UAV muestran cómo se comparan estos retrasos. Los sistemas COFDM básicos suelen presentar una latencia de entre 35 y 55 ms . Los sistemas COFDM profesionales, como el LinkAV LVD-300, oscilan entre 40 y 65 ms. Los nodos de malla IP para redes móviles ad hoc funcionan entre 70 y 110 ms. Los sistemas adaptativos de triple banda se sitúan en el rango de 50 a 90 ms. Estas cifras muestran el retardo total de descarga de vídeo que se puede esperar de cada tecnología.
Puedes medir la latencia de extremo a extremo con superposiciones de marcas de tiempo . Activa la función de marcas de tiempo en tu cámara y apúntala hacia su propia salida en directo. Compara el tiempo en la superposición con el tiempo en el bucle de pantalla. Este método te proporciona una medición con un margen de error de hasta un intervalo de fotograma. A 25 fotogramas por segundo, el cálculo de la latencia se convierte en un múltiplo de 40 ms. Conocer estos cuellos de botella te ayuda a identificar dónde tu sistema de transmisión de imágenes de baja latencia pierde tiempo valioso.
Técnicas para la transmisión de imágenes con baja latencia
Optimización de la compresión y la codificación
Las opciones de compresión afectan a todo el sistema de vídeo. La compresión sin pérdidas conserva todos los detalles, pero genera archivos grandes. La compresión con pérdidas elimina parte de los datos para reducir considerablemente el tamaño de los archivos. En el caso de las conexiones de vídeo con drones, los códecs con pérdidas como H.264 pueden reducir significativamente el tamaño de los datos de vídeo, lo que permite una reproducción fluida a través de enlaces inalámbricos.
Los códecs más recientes presentan diferentes ventajas y desventajas. H.265 se utiliza ampliamente para la transmisión en directo. Funciona de forma fiable, es compatible con muchos codificadores de hardware y ofrece una latencia muy baja incluso a alta calidad. AV1 aún está en desarrollo para la transmisión en directo. Requiere demasiada potencia de procesamiento para su uso en tiempo real. Cada fotograma de vídeo debe codificarse rápidamente, y AV1 tiene dificultades para ello. Para vídeo con baja latencia, H.265 es una opción segura . AV1 es adecuado para su uso futuro, cuando el ahorro de ancho de banda sea más importante que la velocidad de codificación.
El ancho de banda y la congestión de la red afectan al vídeo. Las conexiones inalámbricas tienen mayor retardo que las cableadas . El cable y la fibra óptica suelen tener un retardo inferior a 20 ms. Un ancho de banda bajo implica mayor retardo, por lo que los paquetes de vídeo llegan tarde. Un ancho de banda alto, aunque con un retardo elevado, proporciona un vídeo de buena calidad que a veces se congela. Un ancho de banda bajo y un retardo reducido ofrecen un vídeo estable, pero de menor calidad. Para el vídeo en tiempo real, el retardo es más importante que el ancho de banda.
Cuando la red recibe demasiados datos, se produce un cuello de botella . Este cuello de botella provoca atascos de tráfico a medida que se acumulan los paquetes. Los paquetes deben esperar en la cola para ser enviados. Esta espera genera retrasos, lo que ralentiza la reproducción de los fotogramas del vídeo.
Factor | Impacto en la latencia en la transmisión de vídeo inalámbrica |
|---|---|
Inalámbrico frente a cableado | Las conexiones inalámbricas tienen más retardo que las cableadas (como el cable/fibra, que suele ser inferior a 20 ms), por lo que es más probable que el vídeo se retrase. |
Ancho de banda bajo | Un menor ancho de banda suele implicar una mayor latencia, lo que ralentiza la entrega de paquetes de vídeo. |
Alto ancho de banda + Alta latencia | Puede ofrecer vídeo de buena calidad, aunque a veces se congela; el ancho de banda no soluciona el problema del retardo. |
Ancho de banda bajo + baja latencia | Proporciona vídeo estable pero de menor calidad, lo que demuestra que el retardo es más importante que el ancho de banda para el vídeo en tiempo real. |
Computación perimetral y aceleración de hardware
La computación perimetral acerca el procesamiento de datos al lugar de captura. Los datos se analizan en el mismo sitio donde se capturan, lo que reduce el tiempo de transmisión. En lugar de enviar el vídeo a un servidor remoto, se procesa localmente. Esto reduce considerablemente la latencia de la red. Para el vídeo grabado con drones, la computación perimetral es fundamental. El dron procesa las imágenes internamente y envía solo los resultados útiles a tierra.
La aceleración por hardware mejora aún más la computación perimetral. Las FPGA y las NPU ejecutan modelos de IA con muy poca latencia, lo que permite el procesamiento en tiempo real en el propio hardware. Se obtiene un procesamiento con baja latencia sin tener que esperar a la nube.
Ejemplos reales demuestran su eficacia. Un sistema para detectar defectos en componentes electrónicos empleó compresión de modelos, computación perimetral y aceleración de hardware. Los ingenieros redujeron un modelo YOLOv5s de 73 MB a 1.2 MB y lo implementaron en una puerta de enlace USR-M300 con aceleración NPU. El sistema funcionó a 35 fotogramas por segundo, aproximadamente 28.6 ms por fotograma, una velocidad suficiente para detectar defectos.
Para la transmisión de vídeo de tu dron, es fundamental utilizar protocolos inalámbricos especiales. La corrección de errores hacia adelante mantiene la conexión estable y con baja latencia. Estos protocolos detectan y corrigen errores sin necesidad de reenviar datos, evitando así la demora que supone solicitar los paquetes perdidos. De esta forma, la transmisión de vídeo de tu dron se mantiene fluida incluso en condiciones adversas.
Tecnologia | Cómo reduce la latencia |
|---|---|
Reduce el tamaño de los datos de vídeo para una transmisión más rápida; la codificación por hardware también reduce el retardo de procesamiento. | |
Ancho de banda de red suficiente | Garantiza que los paquetes de datos se transmitan rápidamente entre la cámara y el visor, evitando retrasos en el tráfico. |
Configuración de almacenamiento en búfer optimizada | Encuentra el tamaño de búfer adecuado para evitar tanto retrasos como interrupciones, haciendo que el vídeo parezca más rápido. |
Red de distribución de contenido (CDN) con múltiples puntos de presencia (PoP) | Envía el vídeo desde servidores cercanos a los espectadores, lo que reduce el tiempo de transmisión y el almacenamiento en búfer. |
La computación perimetral transforma el funcionamiento de la transmisión de vídeo. Combina una buena compresión con el procesamiento local. Tu sistema obtiene información en tiempo real sin necesidad de la nube. Esto proporciona la baja latencia que requieren tus sistemas autónomos.
Conclusión clave sobre las ventajas y desventajas de la baja latencia: El códec por sí solo no determina el retardo ; factores como el almacenamiento en búfer, la estructura GOP, la configuración del codificador, las condiciones de la red, la transcodificación, el protocolo de transporte, el comportamiento del reproductor y la tasa de bits adaptativa también influyen. Elegir AV1 no garantiza automáticamente un retardo muy bajo, ni tampoco elegir H.265. Sin embargo, para uso en tiempo real, H.265 sigue siendo una de las mejores opciones porque sus codificadores y decodificadores están bien probados, mientras que la codificación en tiempo real de AV1 aún necesita verificación, ya que puede ser más exigente cuando cada flujo debe codificarse rápidamente.
Su sistema de vídeo para UAV se beneficia de estas técnicas combinadas. Comprime eficazmente, procesa en el dispositivo y utiliza hardware para acelerar la transmisión. Su enlace descendente de vídeo obtiene la velocidad que requieren sus bucles de control. El procesamiento rápido en el dispositivo lo hace posible.
Fundamentos de la fusión de sensores
El papel de la fusión de sensores en la percepción
La fusión de sensores combina datos de múltiples sensores para crear una imagen clara de lo que te rodea. Se combinan las entradas de cámaras, radar y LiDAR para corregir las limitaciones de cada sensor. Una cámara proporciona imágenes nítidas, pero falla con poca luz . El radar mide bien la distancia y la velocidad en condiciones climáticas adversas, pero no puede leer señales ni distinguir colores. El LiDAR crea mapas 3D detallados, pero tiene un alcance limitado y un alto costo. Al combinar estas diferentes fuentes, se cubren los puntos ciegos de cada sensor.
Este enfoque combinado funciona mejor y es más fiable que usar un solo sensor. Cada sensor por sí solo se enfrenta a problemas derivados del clima, el ruido de la señal y los errores de medición. La fusión de datos ayuda a reducir estos problemas. La redundancia también mantiene la seguridad del sistema. Si un sensor deja de funcionar, los demás siguen proporcionando información clave. Para su dron o UAV, esta fiabilidad es fundamental durante misiones difíciles. La señal de vídeo por sí sola no puede mostrar la profundidad, pero la adición de datos de radar subsana esa deficiencia. El proceso de fusión crea un modelo completo del entorno del vehículo, por lo que funciona bien en diversas condiciones, incluso con mal tiempo y baja visibilidad. Esta precisión mejora directamente la percepción basada en vídeo.
Desafíos en la integración multisensorial
La sincronización temporal es la parte más difícil de combinar múltiples sensores. Cada sensor captura datos en un momento diferente. Una cámara registra un fotograma en un instante, mientras que el radar toma muestras en otro. Al combinar datos no alineados, se generan errores. Estos errores añaden retraso al proceso de percepción. En los vehículos autónomos, incluso pequeñas desalineaciones provocan posiciones incorrectas de los objetos. El sistema podría reaccionar según la posición del peatón, no según su posición actual. Esta desalineación perjudica directamente la calidad de la transmisión de vídeo, ya que la información mostrada se vuelve obsoleta.
Las investigaciones sugieren un método de fusión probabilística de bajo nivel que utiliza datos de LiDAR, RADAR y cámaras para lograr una baja latencia. Este enfoque combina las mediciones brutas de los sensores al inicio del proceso, en lugar de procesarlas por separado. Se reduce el retardo al omitir múltiples pasos de procesamiento. Los datos de los sensores se procesan una sola vez, de forma combinada, en lugar de hacerlo por separado para cada sensor. Esta estrategia de fusión mantiene la ruta de transmisión corta y el tiempo de respuesta rápido.
Para el sistema de transmisión de vídeo de su UAV, la sincronización afecta directamente a la calidad del vídeo. Cuando los datos de los sensores llegan tarde, la superposición de vídeo muestra información desactualizada. Necesita una sincronización precisa en todos los sensores para mantener una percepción visual precisa. Su dron depende de estos datos sincronizados para un vuelo seguro. El envío de datos fusionados, en lugar de flujos separados, reduce las necesidades de ancho de banda y mantiene la transmisión de vídeo fluida. Un sistema bien sincronizado mantiene la transmisión de vídeo estable incluso durante movimientos rápidos. Se evitan las fluctuaciones causadas por lecturas de sensores desajustadas. El enlace descendente de vídeo de su UAV se mantiene nítido y el bucle de control recibe datos precisos en cada ciclo.
Implementación de la fusión de sensores para baja latencia
Algoritmos para la alineación de datos en tiempo real
El filtro de Kalman es una herramienta clave para la fusión de sensores. Se utiliza para combinar datos de una IMU y una cámara. Este filtro estima el estado del sistema y lo ajusta con nuevas lecturas de los sensores. El proceso se repite en un bucle. Cada ciclo proporciona una mejor comprensión de la situación. Este método contribuye a una transmisión de imágenes de baja latencia eficiente.
Para sistemas no lineales, el filtro de Kalman extendido (EKF) ofrece mejores resultados. Su dron o UAV no vuela en línea recta. El EKF linealiza el sistema en cada paso, lo que proporciona mejores resultados para movimientos reales. Las investigaciones demuestran que la fusión de sensores basada en EKF puede alcanzar altas tasas de actualización con baja latencia, lo que resulta adecuado para sistemas en tiempo real.
Las pruebas de rendimiento demuestran que las variantes avanzadas del filtro de Kalman extendido (EKF) pueden mejorar significativamente la precisión.
La sincronización horaria entre sensores sigue siendo un gran desafío. Las cámaras y el radar utilizan relojes diferentes. Una cámara suele funcionar a entre 30 y 60 FPS. El radar funciona a velocidades diferentes. Esto crea desfases temporales. Los problemas de sincronización a nivel de hardware se deben a los diferentes métodos de comunicación. Sin una referencia horaria común , la coincidencia de eventos no es fiable. Aumentan las falsas alarmas. Los cambios de temperatura, las vibraciones y el ruido electromagnético provocan desfases temporales. Esto perjudica la precisión de la sincronización con el tiempo. Una mala alineación provoca falsos positivos y falsos negativos en la transmisión de vídeo. Su sistema necesita una sincronización precisa para una buena fusión.
Una sincronización adecuada puede reducir significativamente la latencia de fusión y mejorar la precisión.
Optimización de los procesos de canalización
Diseña tu sistema para minimizar la latencia. Utiliza el procesamiento paralelo como método clave. Divide las tareas entre varias unidades de cómputo. Una unidad se encarga de la compresión de vídeo. Otra procesa los datos de los sensores. Una tercera ejecuta el algoritmo de fusión. Este método reduce considerablemente la latencia de extremo a extremo. Obtendrás una baja latencia en todo el proceso.
Los sistemas basados en FPGA ofrecen una fusión de sensores con muy baja latencia. Las FPGA procesan los datos directamente en el hardware, evitando la sobrecarga del procesamiento por software. Por ejemplo, un sistema que utiliza una puerta de enlace USR-M300 con aceleración NPU alcanzó una inferencia de 35 fps, demostrando el procesamiento en tiempo real. La transmisión de su UAV se beneficia de esto, ya que obtiene procesamiento en tiempo real sin tener que esperar a la nube. Esto es computación de borde en su máxima expresión.
Existen plataformas para la fusión de sensores en tiempo real que admiten la transmisión de datos con baja latencia, gestionando automáticamente la alineación y el procesamiento de los datos. Esto hace que la descarga de vídeo sea más rápida y fiable.
Siga estas buenas prácticas para su configuración. Use marcas de tiempo basadas en hardware para sincronizar los datos de diferentes sensores. Instale controladores de interfaz de sensor dedicados para gestionar el flujo de datos. Use estructuras de interrupción específicas para cada sensor para una captura de datos oportuna. Use controladores de temporización dedicados o relojes sincronizados con GPS para evitar la deriva del reloj.
También debes ajustar correctamente tus filtros. Ajusta las matrices Q y R en los filtros de Kalman. Equilibra la precisión de la estimación con la velocidad. Ajusta el tamaño de la ventana de ajuste. Las ventanas más grandes mejoran la precisión, pero consumen más memoria y aumentan la latencia. Utiliza ponderación de sensores para priorizar las entradas más precisas. Utiliza aritmética de punto fijo para dispositivos con recursos limitados. Esto reduce la carga computacional y garantiza tiempos de ejecución estables.
Su sistema de transmisión de video para drones o vehículos aéreos no tripulados se beneficia de estos métodos. Combina la computación perimetral con la aceleración FPGA. Sus datos de video se mueven rápidamente a través del flujo de datos. El algoritmo de fusión los procesa en tiempo real. Su sistema de computación de alto rendimiento se encarga del trabajo. El resultado es una transmisión de video rápida que mantiene la precisión de su bucle de control. Su transmisión de video se convierte en una parte confiable de su sistema autónomo. Su flujo de transmisión de video debe ser rápido.
La baja latencia es un desafío integral. Optimice la ruta de transmisión de video y la canalización de procesamiento. Utilice compresión eficiente, computación de borde, aceleración de hardware y algoritmos de fusión robustos. El procesamiento paralelo distribuye las tareas entre procesadores multinúcleo o FPGA. La aceleración de hardware puede lograr tiempos de inferencia bajos, lo que permite la navegación en tiempo real para UAV. Para su sistema de transmisión de video de UAV, evalúe sus necesidades. Un enlace de video de dron necesita una configuración diferente a la de un vehículo autónomo. Su enlace descendente de video se mantiene receptivo. Su sistema de transmisión de video maneja la fusión de sensores con un retraso mínimo. Su transmisión de video depende de estas elecciones. Sus transmisiones de video necesitan baja latencia. Sus datos de video fluyen eficientemente. La calidad del video se mantiene alta. Su transmisión de video funciona de manera confiable. Estas habilidades son importantes a medida que crece la inteligencia en tiempo real. Su dron se beneficia. El UAV opera de forma segura. La misión del dron tiene éxito.
Preguntas Frecuentes
¿Cuál es el mayor desafío en la transmisión de vídeo de baja latencia para vehículos aéreos no tripulados (UAV)?
El mayor problema es la congestión de la red. Es necesario codificar bien el vídeo. La transmisión de vídeo del dron debe usar H.265. Una conexión de vídeo estable mantiene el bucle de control rápido.
¿Cómo mejora la fusión de sensores el rendimiento del enlace de vídeo de los drones?
La fusión de sensores combina datos de cámara y radar. Esto reduce el procesamiento por separado. La conexión de vídeo de tu dron es más rápida. Tu dron recibe datos de vídeo correctos. La transmisión de vídeo se mantiene fiable. La conexión de vídeo se mantiene estable.
¿Por qué es fundamental la sincronización horaria para la transmisión de vídeo de su dron?
La sincronización horaria alinea todos los datos de los sensores. Sin ella, el vídeo muestra posiciones incorrectas y los datos de vídeo se vuelven poco fiables. En la transmisión de vídeo con drones, esta sincronización evita retrasos y garantiza la precisión de la señal de bajada.
¿Cómo puede la computación perimetral mejorar la transmisión de vídeo?
La computación perimetral procesa el vídeo cerca de la cámara, lo que reduce el tiempo de transmisión. Tu dron se beneficia de un procesamiento de vídeo más rápido, funciona con menor latencia y la transmisión de vídeo se vuelve más fiable.
