一架無人機穿梭於茂密的森林中，其視訊畫面引導著它的每一個轉彎。第二架無人機必須根據突如其來的陣風調整飛行路線。第三架無人機從上方監控這區域。一輛自動駕駛汽車發現行人後必須立即煞車。這些系統都需要即時智慧。如何才能實現安全自主決策所需的超低延遲？
答案在於兩個相互關聯的面向：一是提升低延遲影像傳輸效能，二是優化感測器資料融合。此外，還需要考慮邊緣端的即時處理。本文將探討延遲的來源、降低延遲的方法、感測器融合的基礎知識，並提供逐步設定指南。對於無人機和無人飛行器而言，視訊傳輸品質決定著飛行成敗。您的視訊系統必須降低延遲。每架無人機都需要可靠的視訊鏈路才能安全飛行。
關鍵要點
視訊傳輸延遲來自網路、處理以及從頭到尾的整個傳輸路徑。每一毫秒都對無人機的安全操控至關重要。
使用 H.265 等高效能編解碼器和邊緣運算來降低延遲。在攝影機附近處理數據，以避免網路傳輸時間。
感測器融合技術結合了攝影機、雷達和光達的數據。這彌補了單一感測器的不足，提高了可靠性。
時間同步非常重要。將感測器資料與硬體時間戳進行匹配，可以防止錯誤並加快融合速度。
透過同時運行多個任務並使用專用硬件，可以加快您的流程速度。這能確保視訊串流快速且準確。
影像傳輸中的延遲來源
定義延遲及其影響
延遲是指從執行操作到看到結果之間的時間。在即時系統中，你需要了解三種類型的延遲。網路延遲是指資料在裝置之間傳輸所花費的時間。處理延遲是指系統用於壓縮、分析或解壓縮資料的時間。端對端延遲是指所有延遲的總和，從攝影機拍攝影像到你在螢幕上看到影像所花費的時間。
對於無人機視訊鏈路而言，即使是微小的延遲也會造成嚴重問題。高速飛行的無人機需要持續的回饋來調整飛行路徑。如果影片出現延遲，就會失去這種回饋。無人機可能在你螢幕上看到障礙物之前就已經飛過了。研究表明，當端到端延遲達到100 毫秒時，效能就會下降。而當延遲達到 500 毫秒時，飛行安全將受到嚴重威脅。另一項研究指出，自主系統的延遲應保持在 170 毫秒以下。這些數據表明，對於控制迴路而言，每一毫秒都至關重要。
輸電管道中的瓶頸
您的視訊傳輸流程中存在多個延遲點。攝影機延遲是指感測器捕捉和編碼影像所需的時間。系統傳輸延遲是指資料透過電纜或無線連結傳輸所需的時間。顯示延遲是指接收器顯示最終影像所需的時間。壓縮、傳輸和解壓縮過程各自都會增加總延遲。
商用無人機視訊系統展示了這些延遲的累積情況。入門級 COFDM 系統的延遲通常為35–55 毫秒。專業級 COFDM 系統，例如 LinkAV LVD-300，延遲範圍為 40–65 毫秒。用於移動自組織網路的 IP Mesh 節點的延遲在 70–110 毫秒之間。三頻自適應系統的延遲範圍為 50–90 毫秒。這些數字顯示了每種技術可能產生的視訊下行鏈路總延遲。
您可以使用時間戳疊加功能來測量端對端延遲。啟用攝影機的時間戳功能，然後將其對準即時輸出畫面。將疊加層中的時間與螢幕循環顯示的時間進行比較。此方法的測量誤差不超過一幀間隔。在每秒 25 幀的情況下，延遲計算結果將是 40 毫秒的倍數。了解這些瓶頸有助於您找到低延遲影像傳輸系統在哪些環節損失了寶貴的時間。
低延遲影像傳輸技術
優化壓縮和編碼
壓縮方式的選擇會影響整個視訊系統。無損壓縮保留所有細節，但會產生較大的檔案。有損壓縮則會丟棄部分數據，大幅減少檔案大小。對於無人機視訊鏈路，像 H.264 這樣的有損編碼格式可以顯著減少視訊資料量，從而實現無線鏈路上的流暢視訊傳輸。
新的視訊編解碼器各有優缺點。 H.265 廣泛用於直播。它運行穩定可靠，可在多種硬體編碼器上運行，即使在高畫質下也能提供極低的延遲。 AV1 目前仍在開發中，用於直播。它對即時應用的要求過高。每個視訊幀都必須快速編碼，而 AV1 在這方面表現不佳。對於低延遲視頻，H.265 是一個穩健的選擇。 AV1 更適合未來使用，屆時節省頻寬比編碼速度更重要。
頻寬和網路擁塞都會影響視訊品質。無線鏈路的延遲比有線鏈路高。電纜和光纖的延遲通常低於 20 毫秒。低頻寬意味著更高的延遲，因此視訊資料包到達時間會更晚。高頻寬但高延遲可以提供高品質的視頻，但有時會出現卡頓。低頻寬和低延遲可以提供穩定的視頻，但品質較低。對於即時視訊而言，延遲比頻寬更重要。
當網路資料量過大時，就會形成瓶頸。這種瓶頸會導致資料包堆積，造成網路擁塞。資料包必須排隊等待發送。排隊等待會增加延遲，從而降低視訊幀的播放速度。
因子 | 對無線視訊傳輸延遲的影響 |
|---|---|
無線與有線 | 無線鏈路比有線鏈路（如電纜/光纖，延遲通常低於 20 毫秒）延遲更大，因此視訊更容易出現延遲。 |
低頻寬 | 頻寬不足通常意味著延遲增加，從而減慢視訊資料包的傳輸速度。 |
高頻寬 + 高延遲 | 可以提供高品質的視頻，但有時會出現卡頓——頻寬無法解決延遲問題。 |
低頻寬 + 低延遲 | 視訊傳輸穩定但品質較低，顯示對於即時視訊而言，延遲比頻寬更重要。 |
邊緣運算和硬體加速
邊緣運算將資料處理轉移到更靠近資料擷取點的位置。您可以在採集資料的地方進行分析，從而縮短傳輸時間。視訊無需發送到遙遠的伺服器，而是在本地進行處理。這大大降低了網路延遲。對於無人機影片而言，邊緣運算至關重要。您的無人機可以在自身上處理影像，並將有用的結果發送到地面。
硬體加速讓邊緣運算效能更上一層樓。 FPGA 和 NPU 可以極低的延遲運行 AI 模型，從而在硬體本身實現即時處理。無需等待雲端，即可獲得低延遲的處理體驗。
實際案例展現了這些技術的效果。一個用於檢測電子元件缺陷的系統採用了模型壓縮、邊緣運算和硬體加速技術。工程師將一個 YOLOv5s 模型從73 MB 壓縮到 1.2 MB，並將其部署在配備 NPU 加速的 USR-M300 網關上。該系統以每秒 35 幀的速度運行，每幀耗時約 28.6 毫秒。這樣的速度足以滿足缺陷檢測的需求。
對於無人機視訊鏈路而言，特殊的無線協定至關重要。前向糾錯機制能夠保持鏈路穩定並降低延遲。這些協定無需重新發送資料即可發現並修復錯誤，從而避免因再次請求遺失資料包而造成的延遲。即使在惡劣環境下，您的無人機影片也能保持流暢。
技術 | 它如何降低延遲 |
|---|---|
縮小視訊資料體積，加快傳輸速度；硬體編碼還能減少處理延遲。 | |
足夠的網路頻寬 | 確保資料包在攝影機和檢視器之間快速傳輸，避免網路延遲。 |
最佳化緩衝設定 | 找到合適的緩衝區大小，避免延遲和中斷，使影片播放感覺更快。 |
具有多個PoP的CDN | 從靠近觀眾的伺服器發送視頻，減少傳輸時間和緩衝時間。 |
邊緣運算改變了影片下行鏈路的工作方式。它將高效的壓縮與本地處理相結合，使系統無需雲端即可獲得即時智能，從而滿足自主系統所需的低延遲。
關於低延遲權衡的關鍵發現：編解碼器本身並不能決定延遲；緩衝、GOP結構、編碼器設定、網路狀況、轉碼、傳輸協定、播放器行為以及自適應位元率等因素都會產生影響。選擇AV1並不能自動獲得極低的延遲，選擇H.265也無法保證。但對於即時應用而言，H.265仍然是首選，因為它的編碼器和解碼器都經過了充分的測試，而AV1的即時編碼仍需進一步驗證，因為當每個串流都需要快速編碼時，其效能要求可能更高。
您的無人機視訊系統受益於這些技術的結合。您可以實現高效壓縮、邊緣運算，並利用硬體加速。您的視訊下行鏈路能夠獲得控制迴路所需的傳輸速度。邊緣快速運算使這一切成為可能。
感測器融合基礎
感覺融合在感知中的作用
感測器融合技術將來自多個感測器的資料混合，從而建構出一幅清晰的周圍環境影像。它結合了攝影機、雷達和光達的輸入數據，彌補了每個感測器的不足。攝影機能夠拍攝清晰的影像，但在光線昏暗的環境下效果不佳。雷達在惡劣天氣下能夠準確測量距離和速度，但無法辨識路標或顏色。光達可以產生精細的3D地圖，但測量範圍有限且成本高。透過融合這些不同的資料來源，可以彌補每個感測器的盲區。
這種組合方法比僅使用單一感測器效果更好、更可靠。單一感測器會受到天氣、訊號雜訊和測量誤差的影響。數據融合有助於減少這些問題。冗餘設計還能確保系統安全。即使某個感測器停止工作，其他感測器仍然可以提供關鍵資訊。對於無人機而言，這種可靠性在執行艱鉅任務時至關重要。僅憑視訊串流無法顯示深度訊息，但添加雷達數據可以彌補這一不足。融合過程會建構飛行器周圍環境的完整模型，因此即使在惡劣天氣和低能見度等多種條件下也能表現良好。這種精確度直接提升了基於視訊的感知能力。
多感測器整合面臨的挑戰
時間同步是整合多個感測器資料時最困難的部分。每個感測器在不同的時間點採集數據。例如，攝影機在一個時間點記錄幀，而雷達在另一個時間點採樣。當混合的資料不同步時，就會產生誤差。這些誤差會增加感知流程的延遲。對於自動駕駛車輛而言，即使是微小的偏差也會導致物體位置錯誤。系統可能會對行人之前的位置做出反應，而不是他們現在的位置。這種偏差會直接影響視訊傳輸質量，因為顯示的資訊會變得過時。
研究表明，利用光達、雷達和攝影機資料進行機率性底層融合可以實現低延遲。這種方法在數據處理流程的早期階段就融合原始感測器測量數據，而不是在單獨處理之後進行融合。透過跳過多個處理步驟，可以顯著降低延遲。感測器資料只需處理一次，即對融合後的資料進行一次處理，而不是像以前那樣對每個感測器的資料分別進行處理。這種融合策略可以縮短傳輸路徑，並加快反應速度。
對於您的無人機視訊傳輸系統而言，同步直接影響視訊品質。如果感測器資料延遲到達，視訊疊加層將顯示過時的資訊。您需要所有感測器的精確時間同步才能保持準確的態勢感知。無人機的安全飛行依賴這些同步數據。與發送單獨的資料流相比，融合資料可以降低頻寬需求並保持視訊串流的回應速度。良好的同步系統即使在快速移動中也能保持視訊傳輸的穩定性。您可以避免因感測器讀數不匹配而導致的抖動。您的無人機視訊下行鏈路保持暢通，控制迴路在每個週期都能獲得準確的資料。
實現低延遲的傳感器融合
即時數據對齊演算法
卡爾曼濾波器是感測器融合的關鍵工具。它用於混合來自慣性測量單元 (IMU) 和攝影機的即時數據。此濾波器首先猜測系統的狀態，然後用新的感測器讀數修正先前的猜測。這個過程循環往復，每次循環都能讓你更精確地了解系統目前的位置。這種方法有助於實現低延遲影像傳輸。
對於非線性系統，擴展卡爾曼濾波器 (EKF) 的效果更佳。無人機或無人飛行器並非沿直線飛行。 EKF 使系統在每一步都趨於線性，從而更好地模擬實際運動。研究表明，基於 EKF 的感測器融合能夠以低延遲實現高更新率，適用於即時系統。
性能測試表明，先進的 EKF 變體可以顯著提高準確率。
感測器間的時間同步仍然是一大挑戰。攝影機和雷達使用不同的時鐘。攝影機通常以 30 到 60 幀/秒的速度運行，而雷達的循環速度也不同。這就造成了時間間隔。硬體層面的同步問題源自於不同的通訊方式。如果沒有共同的時間參考，事件配對就不可靠，誤報率也會上升。溫度變化、振動和電磁雜訊都會導致時間漂移，長期下來會降低同步精度。糟糕的對準會導致視訊串流中出現誤報和漏報。為了實現良好的融合效果，您的系統需要精確的時間資訊。
適當的同步可以顯著降低融合延遲並提高精度。
優化處理流程
您設計管線的目的是降低延遲。並行處理是關鍵方法。將任務指派到多個計算單元上。一個單元負責視訊壓縮，另一個單元處理感測器數據，第三個單元運行融合演算法。這種方法可以大幅降低端到端延遲，從而在整個管線中實現低延遲。
基於FPGA的系統可實現極低延遲的感測器融合。 FPGA直接在硬體中處理數據，省去了軟體處理的開銷。例如，使用配備NPU加速的USR-M300網關的系統實現了35幀/秒的推理速度，展現了即時處理能力。您的無人機傳輸將受益於此。您無需等待雲端即可獲得即時處理。這正是邊緣運算的最佳體現。
目前已有支援低延遲資料傳輸的即時感測器融合平台，能夠自動處理資料對齊和處理。這使得您的影片下行鏈路速度更快、更可靠。
請遵循以下最佳實踐進行設定。使用基於硬體的時間戳來對齊來自不同感測器的資料。配備專用的感測器介面控制器來管理資料流。使用感測器特定的中斷結構來及時捕獲數據。使用專用的定時控制器或 GPS 鎖定時鐘來防止時鐘漂移。
您還必須正確調整濾波器。調整卡爾曼濾波器中的 Q 矩陣和 R 矩陣。平衡估計精度和速度。調整調整視窗大小。更大的視窗可以提高精度，但會佔用更多記憶體並增加延遲。使用感測器加權來優先處理更精確的輸入。對於資源有限的設備，使用定點運算。這可以減少計算量並確保穩定的執行時間。
您的無人機或無人飛行器視訊傳輸系統將從這些方法中受益。您可以將邊緣運算與FPGA加速相結合，從而實現視訊資料的快速傳輸。融合演算法能夠即時處理數據，而高效能運算系統則負責處理所有運算任務。最終，您將獲得快速的視訊串流，從而確保控制迴路的精準性。視訊傳輸將成為您自主系統中可靠的組成部分。因此，您的視訊傳輸管道必須足夠快速。
低延遲是一項整體性挑戰。優化視訊傳輸路徑和處理流程至關重要。採用高效壓縮、邊緣運算、硬體加速和強大的融合演算法。並行處理可將任務指派到多核心處理器或FPGA上。硬體加速可以實現極短的推理時間，從而支援無人機的即時導航。針對您的無人機視訊傳輸系統，請評估您的需求。無人機視訊鏈路的調優需求與自動駕駛車輛有所不同。您的影片下行鏈路必須保持反應迅速。您的視訊傳輸系統必須以最小的延遲處理感測器融合。您的視訊傳輸取決於這些選擇。您的視訊串流需要低延遲。您的視訊資料流必須高效流動。您的視頻品質必須保持高水準。您的視訊串流必須穩定可靠。隨著即時智慧的發展，這些能力至關重要。您的無人機將從中受益。無人機將安全運作。無人機任務將圓滿完成。
常見問題
無人機低延遲視訊傳輸面臨的最大挑戰是什麼？
最大的問題是網路擁塞。你需要對影片進行高品質的編碼。你的無人機視訊傳輸應該使用 H.265 編碼。穩定的視訊下行鏈路可以確保你的控制迴路快速反應。
感測器融合如何提升無人機視訊鏈路性能？
感測器融合技術將攝影機和雷達數據混合，減少了單獨處理的步驟，從而提高了無人機視訊鏈路速度，確保無人機獲得準確的視訊數據，確保視訊傳輸的可靠性和穩定性。
為什麼時間同步對無人機視訊傳輸至關重要？
時間同步使所有感測器資料保持一致。如果沒有時間同步，影片中的位置資訊就會出錯，影片資料也會變得不可靠。對於無人機視訊傳輸而言，這種同步機制可以避免延遲，確保視訊下行鏈路的準確性。
邊緣運算如何改善視訊傳輸？
邊緣運算可在攝影機附近處理視頻，從而縮短傳輸時間。無人機可享受更快的視訊處理速度，運作延遲更低，視訊傳輸也更加可靠。
