一架无人机穿梭于茂密的森林中，其视频画面引导着它的每一次转弯。第二架无人机必须根据突如其来的阵风调整飞行路线。第三架无人机从上方监控着这片区域。一辆自动驾驶汽车发现行人后必须立即刹车。这些系统都需要实时智能。如何才能实现安全自主决策所需的超低延迟？
答案在于两个相互关联的方面：一是提升低延迟图像传输性能，二是优化传感器数据融合。此外，还需要考虑边缘端的实时处理。本文将探讨延迟的来源、降低延迟的方法、传感器融合的基础知识，并提供分步设置指南。对于无人机和无人飞行器而言，视频传输质量决定着飞行成败。您的视频系统必须降低延迟。每架无人机都需要可靠的视频链路才能安全飞行。
关键精华
视频传输延迟来自网络、处理以及从始至终的整个传输路径。每一毫秒都对无人机的安全操控至关重要。
使用 H.265 等高效编解码器和边缘计算来降低延迟。在摄像头附近处理数据，以避免网络传输时间。
传感器融合技术结合了摄像头、雷达和激光雷达的数据。这弥补了单个传感器的不足，提高了可靠性。
时间同步非常重要。将传感器数据与硬件时间戳进行匹配，可以防止错误并加快融合速度。
通过同时运行多个任务并使用专用硬件，可以加快您的流程速度。这能确保视频流快速准确。
图像传输中的延迟源
定义延迟及其影响
延迟是指从执行操作到看到结果之间的时间。在实时系统中，你需要了解三种类型的延迟。网络延迟是指数据在设备之间传输所花费的时间。处理延迟是指系统用于压缩、分析或解压缩数据的时间。端到端延迟是指所有延迟的总和，从摄像头拍摄图像到你在屏幕上看到图像所花费的时间。
对于无人机视频链路而言，即使是微小的延迟也会造成严重问题。高速飞行的无人机需要持续的反馈来调整飞行路径。如果视频出现延迟，就会失去这种反馈。无人机可能在你屏幕上看到障碍物之前就已经飞过了。研究表明，当端到端延迟达到100 毫秒时，性能就会下降。而当延迟达到 500 毫秒时，飞行安全将受到严重威胁。另一项研究指出，自主系统的延迟应保持在 170 毫秒以下。这些数据表明，对于控制回路而言，每一毫秒都至关重要。
输电管道中的瓶颈
您的视频传输流程中存在多个延迟点。摄像机延迟是指传感器捕获和编码图像所需的时间。系统传输延迟是指数据通过电缆或无线链路传输所需的时间。显示延迟是指接收器显示最终图像所需的时间。压缩、传输和解压缩过程各自都会增加总延迟。
商用无人机视频系统展示了这些延迟的累积情况。入门级 COFDM 系统的延迟通常为35–55 毫秒。专业级 COFDM 系统，例如 LinkAV LVD-300，延迟范围为 40–65 毫秒。用于移动自组织网络的 IP Mesh 节点的延迟在 70–110 毫秒之间。三频自适应系统的延迟范围为 50–90 毫秒。这些数字显示了每种技术可能产生的视频下行链路总延迟。
您可以使用时间戳叠加功能来测量端到端延迟。启用摄像机的时间戳功能，然后将其对准实时输出画面。将叠加层中的时间与屏幕循环显示的时间进行比较。此方法的测量误差不超过一帧间隔。在每秒 25 帧的情况下，延迟计算结果将是 40 毫秒的倍数。了解这些瓶颈有助于您找到低延迟图像传输系统在哪些环节损失了宝贵的时间。
低延迟图像传输技术
优化压缩和编码
压缩方式的选择会影响整个视频系统。无损压缩保留所有细节，但会生成较大的文件。有损压缩则会丢弃部分数据，从而大幅减小文件大小。对于无人机视频链路，像 H.264 这样的有损编码格式可以显著减小视频数据量，从而实现无线链路上的流畅视频传输。
新的视频编解码器各有优缺点。H.265 被广泛用于直播。它运行稳定可靠，可在多种硬件编码器上运行，即使在高画质下也能提供极低的延迟。AV1 目前仍在开发中，用于直播。它对实时应用的要求过高。每个视频帧都必须快速编码，而 AV1 在这方面表现不佳。对于低延迟视频，H.265 是一个稳妥的选择。AV1 更适合未来使用，届时节省带宽比编码速度更重要。
带宽和网络拥堵都会影响视频质量。无线链路的延迟比有线链路高。电缆和光纤的延迟通常低于 20 毫秒。低带宽意味着更高的延迟，因此视频数据包到达时间会更晚。高带宽但高延迟可以提供高质量的视频，但有时会出现卡顿。低带宽和低延迟可以提供稳定的视频，但质量较低。对于实时视频而言，延迟比带宽更重要。
当网络数据量过大时，就会形成瓶颈。这种瓶颈会导致数据包堆积，造成网络拥堵。数据包必须排队等待发送。排队等待会增加延迟，从而降低视频帧的播放速度。
因素 | 对无线视频传输延迟的影响 |
|---|---|
无线与有线 | 无线链路比有线链路（如电缆/光纤，延迟通常低于 20 毫秒）延迟更大，因此视频更容易出现延迟。 |
低带宽 | 带宽不足通常意味着延迟增加，从而减慢视频数据包的传输速度。 |
高带宽 + 高延迟 | 可以提供高质量的视频，但有时会出现卡顿——带宽无法解决延迟问题。 |
低带宽 + 低延迟 | 视频传输稳定但质量较低，表明对于实时视频而言，延迟比带宽更重要。 |
边缘计算和硬件加速
边缘计算将数据处理转移到更靠近数据采集点的位置。您可以在采集数据的地方进行分析，从而缩短传输时间。视频无需发送到遥远的服务器，而是在本地进行处理。这大大降低了网络延迟。对于无人机视频而言，边缘计算至关重要。您的无人机可以在自身上处理图像，并将有用的结果发送到地面。
硬件加速让边缘计算性能更上一层楼。FPGA 和 NPU 可以极低的延迟运行 AI 模型，从而在硬件本身实现实时处理。无需等待云端，即可获得低延迟的处理体验。
实际案例展现了这些技术的效果。一个用于检测电子元件缺陷的系统采用了模型压缩、边缘计算和硬件加速技术。工程师将一个 YOLOv5s 模型从73 MB 压缩到 1.2 MB，并将其部署在配备 NPU 加速的 USR-M300 网关上。该系统以每秒 35 帧的速度运行，每帧耗时约 28.6 毫秒。这样的速度足以满足缺陷检测的需求。
对于无人机视频链路而言，特殊的无线协议至关重要。前向纠错机制能够保持链路稳定并降低延迟。这些协议无需重新发送数据即可发现并修复错误，从而避免因再次请求丢失数据包而造成的延迟。即使在恶劣环境下，您的无人机视频也能保持流畅。
技术 | 它如何降低延迟 |
|---|---|
缩小视频数据体积，加快传输速度；硬件编码还能减少处理延迟。 | |
足够的网络带宽 | 确保数据包在摄像头和查看器之间快速传输，避免网络延迟。 |
优化缓冲设置 | 找到合适的缓冲区大小，避免延迟和中断，使视频播放感觉更快。 |
具有多个PoP的CDN | 从靠近观众的服务器发送视频，减少传输时间和缓冲时间。 |
边缘计算改变了视频下行链路的工作方式。它将高效的压缩与本地处理相结合，使系统无需云端即可获得实时智能，从而满足自主系统所需的低延迟。
关于低延迟权衡的关键发现：编解码器本身并不能决定延迟；缓冲、GOP结构、编码器设置、网络状况、转码、传输协议、播放器行为以及自适应比特率等因素都会产生影响。选择AV1并不能自动获得极低的延迟，选择H.265也无法保证。但对于实时应用而言，H.265仍然是首选，因为它的编码器和解码器都经过了充分的测试，而AV1的实时编码仍需进一步验证，因为当每个流都需要快速编码时，其性能要求可能更高。
您的无人机视频系统受益于这些技术的结合。您可以实现高效压缩、边缘计算，并利用硬件加速。您的视频下行链路能够获得控制回路所需的传输速度。边缘快速计算使这一切成为可能。
传感器融合基础
感觉融合在感知中的作用
传感器融合技术将来自多个传感器的数据混合，从而构建出一幅清晰的周围环境图像。它结合了摄像头、雷达和激光雷达的输入数据，弥补了每个传感器的不足。摄像头能够拍摄清晰的图像，但在光线昏暗的环境下效果不佳。雷达在恶劣天气下能够准确测量距离和速度，但无法识别路标或颜色。激光雷达可以生成精细的3D地图，但测量范围有限且成本高昂。通过融合这些不同的数据源，可以弥补每个传感器的盲区。
这种组合方法比仅使用单个传感器效果更好、更可靠。单个传感器会受到天气、信号噪声和测量误差的影响。数据融合有助于减少这些问题。冗余设计还能确保系统安全。即使某个传感器停止工作，其他传感器仍然可以提供关键信息。对于无人机而言，这种可靠性在执行艰巨任务时至关重要。仅凭视频流无法显示深度信息，但添加雷达数据可以弥补这一不足。融合过程会构建飞行器周围环境的完整模型，因此即使在恶劣天气和低能见度等多种条件下也能表现良好。这种精度直接提升了基于视频的感知能力。
多传感器集成面临的挑战
时间同步是整合多个传感器数据时最困难的部分。每个传感器在不同的时间点采集数据。例如，摄像头在一个时间点记录帧，而雷达在另一个时间点采样。当混合的数据不同步时，就会产生误差。这些误差会增加感知流程的延迟。对于自动驾驶车辆而言，即使是微小的偏差也会导致物体位置错误。系统可能会对行人之前的位置做出反应，而不是他们现在的位置。这种偏差会直接影响视频传输质量，因为显示的信息会变得过时。
研究表明，利用激光雷达、雷达和摄像头数据进行概率性底层融合可以实现低延迟。这种方法在数据处理流程的早期阶段就融合原始传感器测量数据，而不是在单独处理之后再进行融合。通过跳过多个处理步骤，可以显著降低延迟。传感器数据只需处理一次，即对融合后的数据进行一次处理，而不是像以前那样对每个传感器的数据分别进行处理。这种融合策略可以缩短传输路径，并加快响应速度。
对于您的无人机视频传输系统而言，同步直接影响视频质量。如果传感器数据延迟到达，视频叠加层将显示过时的信息。您需要所有传感器的精确时间同步才能保持准确的态势感知。无人机的安全飞行依赖于这些同步数据。与发送单独的数据流相比，融合数据可以降低带宽需求并保持视频流的响应速度。良好的同步系统即使在快速移动中也能保持视频传输的稳定性。您可以避免因传感器读数不匹配而导致的抖动。您的无人机视频下行链路保持畅通，控制回路在每个周期都能获得准确的数据。
实现低延迟的传感器融合
实时数据对齐算法
卡尔曼滤波器是传感器融合的关键工具。它用于混合来自惯性测量单元 (IMU) 和摄像头的实时数据。该滤波器首先猜测系统的状态，然后用新的传感器读数修正之前的猜测。这个过程循环往复，每次循环都能让你更准确地了解系统当前的位置。这种方法有助于实现低延迟图像传输。
对于非线性系统，扩展卡尔曼滤波器 (EKF) 的效果更佳。无人机或无人飞行器并非沿直线飞行。EKF 使系统在每一步都趋于线性，从而更好地模拟实际运动。研究表明，基于 EKF 的传感器融合能够以低延迟实现高更新率，适用于实时系统。
性能测试表明，先进的 EKF 变体可以显著提高准确率。
传感器间的时间同步仍然是一大挑战。摄像头和雷达使用不同的时钟。摄像头通常以 30 到 60 帧/秒的速度运行，而雷达的循环速度也不同。这就造成了时间间隔。硬件层面的同步问题源于不同的通信方式。如果没有共同的时间参考，事件匹配就不可靠，误报率也会上升。温度变化、振动和电磁噪声都会导致时间漂移，长期下来会降低同步精度。糟糕的对准会导致视频流中出现误报和漏报。为了实现良好的融合效果，您的系统需要精确的时间信息。
适当的同步可以显著降低融合延迟并提高精度。
优化处理流程
您设计流水线的目的是降低延迟。并行处理是关键方法。将任务分配到多个计算单元上。一个单元负责视频压缩，另一个单元处理传感器数据，第三个单元运行融合算法。这种方法可以大幅降低端到端延迟，从而在整个流水线中实现低延迟。
基于FPGA的系统可实现极低延迟的传感器融合。FPGA直接在硬件中处理数据，省去了软件处理的开销。例如，使用配备NPU加速的USR-M300网关的系统实现了35帧/秒的推理速度，展现了实时处理能力。您的无人机传输将受益于此。您无需等待云端即可获得实时处理。这正是边缘计算的最佳体现。
目前已有支持低延迟数据传输的实时传感器融合平台，能够自动处理数据对齐和处理。这使得您的视频下行链路速度更快、更可靠。
请遵循以下最佳实践进行设置。使用基于硬件的时间戳来对齐来自不同传感器的数据。配备专用的传感器接口控制器来管理数据流。使用传感器特定的中断结构来及时捕获数据。使用专用的定时控制器或 GPS 锁定时钟来防止时钟漂移。
您还必须正确调整滤波器。调整卡尔曼滤波器中的 Q 矩阵和 R 矩阵。平衡估计精度和速度。调整调整窗口大小。更大的窗口可以提高精度，但会占用更多内存并增加延迟。使用传感器加权来优先处理更精确的输入。对于资源有限的设备，使用定点运算。这可以减少计算量并确保稳定的执行时间。
您的无人机或无人飞行器视频传输系统将从这些方法中受益。您可以将边缘计算与FPGA加速相结合，从而实现视频数据的快速传输。融合算法能够实时处理数据，而高性能计算系统则负责处理所有计算任务。最终，您将获得快速的视频流，从而确保控制回路的精准性。视频传输将成为您自主系统中可靠的组成部分。因此，您的视频传输管道必须足够快速。
低延迟是一项整体性挑战。优化视频传输路径和处理流程至关重要。采用高效压缩、边缘计算、硬件加速和强大的融合算法。并行处理可将任务分配到多核处理器或FPGA上。硬件加速可以实现极短的推理时间，从而支持无人机的实时导航。针对您的无人机视频传输系统，请评估您的需求。无人机视频链路的调优需求与自动驾驶车辆有所不同。您的视频下行链路必须保持响应迅速。您的视频传输系统必须以最小的延迟处理传感器融合。您的视频传输取决于这些选择。您的视频流需要低延迟。您的视频数据流必须高效流动。您的视频质量必须保持高水平。您的视频流必须稳定可靠。随着实时智能的发展，这些能力至关重要。您的无人机将从中受益。无人机将安全运行。无人机任务将圆满完成。
常见问题解答
无人机低延迟视频传输面临的最大挑战是什么？
最大的问题是网络拥塞。你需要对视频进行高质量的编码。你的无人机视频传输应该使用 H.265 编码。稳定的视频下行链路可以保证你的控制回路快速响应。
传感器融合如何提升无人机视频链路性能？
传感器融合技术将摄像头和雷达数据混合，减少了单独处理的步骤，从而提高了无人机视频链路速度，确保无人机获得准确的视频数据，保证视频传输的可靠性和稳定性。
为什么时间同步对无人机视频传输至关重要？
时间同步使所有传感器数据保持一致。如果没有时间同步，视频中的位置信息就会出错，视频数据也会变得不可靠。对于无人机视频传输而言，这种同步机制可以避免延迟，确保视频下行链路的准确性。
边缘计算如何改善视频传输？
边缘计算可在摄像头附近处理视频，从而缩短传输时间。无人机可享受更快的视频处理速度，运行延迟更低，视频传输也更加可靠。
