Sebuah drone terbang melintasi hutan yang rimbun, umpan videonya memandu setiap belokan. Sebuah UAV kedua harus menyesuaikan jalurnya saat hembusan angin tiba-tiba mendekat. Sebuah UAV ketiga memantau area tersebut dari atas. Sebuah kendaraan otonom melihat seorang pejalan kaki dan harus mengerem seketika. Sistem-sistem ini membutuhkan kecerdasan waktu nyata. Bagaimana Anda mencapai latensi ultra-rendah yang diperlukan untuk pengambilan keputusan otonom yang aman?
Jawabannya terletak pada dua area yang saling berhubungan: meningkatkan transmisi gambar dengan latensi rendah dan menggabungkan data sensor dengan baik. Anda juga perlu memikirkan pemrosesan waktu nyata di tepi jaringan. Artikel ini membahas dari mana latensi berasal, cara untuk menguranginya, dasar-dasar fusi sensor, dan panduan langkah demi langkah untuk mengaturnya. Baik untuk drone maupun UAV, kualitas transmisi video menentukan keberhasilan. Sistem video Anda harus mengurangi penundaan. Setiap drone membutuhkan tautan video yang andal untuk terbang dengan aman.
Ringkasan Utama
Keterlambatan transmisi video berasal dari jaringan, pemrosesan, dan seluruh jalur dari awal hingga akhir. Setiap milidetik sangat penting untuk pengendalian drone yang aman.
Gunakan codec yang efisien seperti H.265 dan edge computing untuk mengurangi penundaan. Proses data di dekat kamera untuk menghindari waktu tempuh jaringan.
Penggabungan data sensor (sensor fusion) menggabungkan data dari kamera, radar, dan LiDAR. Hal ini menutupi kekurangan masing-masing sensor dan meningkatkan keandalan.
Sinkronisasi waktu sangat penting. Cocokkan data sensor dengan stempel waktu perangkat keras untuk mencegah kesalahan dan mempercepat proses fusi.
Percepat alur kerja Anda dengan menjalankan tugas secara bersamaan dan menggunakan perangkat keras khusus. Ini menjaga agar umpan video Anda tetap cepat dan akurat.
Sumber Latensi dalam Transmisi Gambar
Mendefinisikan Latensi dan Dampaknya
Latensi adalah waktu antara suatu tindakan dan saat Anda melihat hasilnya. Dalam sistem waktu nyata, Anda perlu mengetahui tiga jenis latensi. Latensi jaringan adalah waktu yang dibutuhkan data untuk berpindah antar perangkat. Latensi pemrosesan adalah waktu yang digunakan sistem Anda untuk mengompresi, menganalisis, atau mendekompresi data. Latensi ujung-ke-ujung adalah semua penundaan yang dijumlahkan, dari saat kamera menangkap gambar hingga saat Anda melihatnya di layar.
Untuk tautan video drone, penundaan sekecil apa pun dapat menyebabkan masalah besar. Drone yang terbang cepat membutuhkan umpan balik konstan untuk menyesuaikan jalurnya. Ketika video Anda mengalami lag, Anda kehilangan umpan balik tersebut. Drone mungkin melewati rintangan sebelum Anda bahkan melihatnya di layar Anda. Studi menunjukkan bahwa kinerja menurun ketika latensi ujung-ke-ujung mencapai 100 ms. Pada 500 ms , penundaan terlalu berisiko untuk penerbangan yang aman. Studi lain mengatakan sistem otonom harus tetap di bawah 170 ms. Angka-angka ini menunjukkan mengapa setiap milidetik penting untuk loop kontrol.
Hambatan dalam Saluran Transmisi
Saluran transmisi video Anda memiliki beberapa titik penundaan. Keterlambatan kamera terjadi ketika sensor menangkap dan mengkodekan gambar. Latensi transit sistem adalah waktu yang dibutuhkan data untuk bergerak melalui kabel atau tautan nirkabel. Keterlambatan tampilan menambah penundaan ketika penerima menampilkan gambar akhir. Kompresi, transmisi, dan dekompresi masing-masing menambahkan penundaan tersendiri ke total penundaan.
Sistem video UAV komersial menunjukkan bagaimana penundaan ini terjadi. Sistem COFDM tingkat pemula biasanya memberikan latensi 35–55 ms . Sistem COFDM profesional, seperti LinkAV LVD-300, berkisar antara 40–65 ms. Node IP Mesh untuk jaringan ad-hoc seluler beroperasi antara 70–110 ms. Sistem adaptif tri-band berada dalam kisaran 50–90 ms. Angka-angka ini menunjukkan total penundaan downlink video yang dapat Anda harapkan dari setiap teknologi.
Anda dapat mengukur latensi ujung-ke-ujung dengan overlay stempel waktu . Aktifkan fitur stempel waktu pada kamera Anda, lalu arahkan ke output langsungnya sendiri. Bandingkan waktu pada overlay dengan waktu pada loop layar. Metode ini memberi Anda pengukuran dengan kesalahan hingga satu interval frame. Pada 25 frame per detik, perhitungan latensi Anda menjadi kelipatan 40 ms. Mengetahui hambatan-hambatan ini membantu Anda menemukan di mana sistem transmisi gambar latensi rendah Anda kehilangan waktu yang berharga.
Teknik untuk Transmisi Gambar dengan Latensi Rendah
Mengoptimalkan Kompresi dan Pengkodean
Pilihan kompresi memengaruhi seluruh sistem video Anda. Kompresi lossless mempertahankan semua detail tetapi menghasilkan file yang besar. Kompresi lossy membuang sebagian data untuk membuat file jauh lebih kecil. Untuk tautan video drone, codec lossy seperti H.264 dapat sangat mengurangi ukuran data video, sehingga memungkinkan video yang lancar melalui tautan nirkabel.
Codec yang lebih baru memiliki kekuatan dan kelemahan yang berbeda. H.265 banyak digunakan untuk live streaming. Codec ini bekerja dengan andal, berjalan pada banyak encoder perangkat keras, dan memberikan penundaan yang sangat rendah bahkan pada kualitas tinggi. AV1 masih dalam pengembangan untuk live streaming. Codec ini membutuhkan terlalu banyak daya komputasi untuk penggunaan real-time. Setiap frame video harus dienkode dengan cepat, dan AV1 kesulitan melakukannya. Untuk video dengan penundaan rendah, H.265 adalah pilihan yang aman . AV1 bagus untuk penggunaan di masa mendatang ketika penghematan bandwidth lebih penting daripada kecepatan encoding.
Bandwidth dan kemacetan lalu lintas memengaruhi video Anda. Koneksi nirkabel memiliki penundaan lebih besar daripada koneksi kabel . Kabel dan serat optik biasanya memiliki penundaan kurang dari 20 ms. Bandwidth rendah berarti penundaan lebih besar, sehingga paket video tiba terlambat. Bandwidth tinggi tetapi penundaan tinggi menghasilkan video berkualitas baik yang terkadang membeku. Bandwidth rendah dan penundaan rendah menghasilkan video yang stabil tetapi kualitas lebih rendah. Untuk video waktu nyata, penundaan lebih penting daripada bandwidth.
Ketika terlalu banyak data yang masuk ke jaringan, hal itu akan menciptakan hambatan (bottleneck ). Hambatan ini menyebabkan kemacetan lalu lintas karena paket-paket menumpuk. Paket-paket harus menunggu giliran untuk dikirim. Menunggu giliran menambah penundaan, yang memperlambat frame video Anda.
Faktor | Dampak pada Latensi dalam Transmisi Video Nirkabel |
|---|---|
Nirkabel vs. Berkabel | Koneksi nirkabel memiliki penundaan yang lebih besar daripada koneksi kabel (seperti kabel/serat optik yang seringkali di bawah 20ms), sehingga video lebih cenderung mengalami penundaan. |
Bandwidth Rendah | Bandwidth yang lebih rendah biasanya berarti penundaan yang lebih besar, sehingga memperlambat pengiriman paket video. |
Bandwidth Tinggi + Latensi Tinggi | Dapat menghasilkan video berkualitas baik yang terkadang mengalami pembekuan—bandwidth tidak memperbaiki penundaan. |
Bandwidth Rendah + Latensi Rendah | Menghasilkan video yang stabil tetapi berkualitas lebih rendah, menunjukkan bahwa penundaan lebih penting daripada bandwidth untuk video waktu nyata. |
Komputasi Tepi dan Akselerasi Perangkat Keras
Edge computing memindahkan pemrosesan data lebih dekat ke tempat data tersebut diambil. Anda menganalisis data di tempat Anda mengambilnya, yang mengurangi waktu tempuh. Alih-alih mengirim video ke server yang jauh, Anda memprosesnya secara lokal. Ini sangat mengurangi penundaan jaringan. Untuk video UAV, edge computing sangat penting. Drone Anda memproses gambar sendiri dan hanya mengirimkan hasil yang bermanfaat ke darat.
Akselerasi perangkat keras membuat komputasi tepi menjadi lebih baik. FPGA dan NPU menjalankan model AI dengan penundaan yang sangat kecil, memungkinkan pemrosesan waktu nyata pada perangkat keras itu sendiri. Anda mendapatkan pemrosesan dengan penundaan rendah tanpa harus menunggu cloud.
Contoh nyata menunjukkan efeknya. Sebuah sistem untuk menemukan cacat pada komponen elektronik menggunakan kompresi model, komputasi tepi, dan akselerasi perangkat keras. Para insinyur mengecilkan model YOLOv5s dari 73 MB menjadi 1.2 MB . Mereka memasangnya pada gateway USR-M300 dengan akselerasi NPU. Sistem tersebut berjalan pada 35 frame per detik, sekitar 28.6 ms per frame. Ini cukup cepat untuk menemukan cacat.
Untuk tautan video drone Anda, protokol nirkabel khusus sangat penting. Koreksi kesalahan maju menjaga tautan tetap stabil dan memiliki penundaan rendah. Protokol ini menemukan dan memperbaiki kesalahan tanpa meminta pengiriman ulang data. Anda menghindari penundaan karena harus meminta paket yang hilang lagi. Video UAV Anda tetap lancar bahkan dalam kondisi sulit.
Teknik | Bagaimana cara mengurangi latensi |
|---|---|
Membuat ukuran data video lebih kecil untuk pengiriman yang lebih cepat; pengkodean perangkat keras juga mengurangi penundaan pemrosesan. | |
Bandwidth jaringan yang memadai | Memastikan paket data bergerak cepat antara kamera dan penampil, menghindari penundaan lalu lintas. |
Pengaturan buffering yang dioptimalkan | Menemukan ukuran buffer yang tepat untuk menghindari penundaan dan gangguan, sehingga video terasa lebih cepat. |
CDN dengan banyak PoP | Mengirimkan video dari server yang berada di dekat pemirsa, mengurangi waktu tempuh dan buffering. |
Edge computing mengubah cara kerja downlink video Anda. Anda menggabungkan kompresi yang baik dengan pemrosesan lokal. Sistem Anda mendapatkan kecerdasan waktu nyata tanpa memerlukan cloud. Ini memberikan penundaan rendah yang dibutuhkan sistem otonom Anda.
Temuan utama tentang pertimbangan latensi rendah: Codec saja tidak menentukan penundaan ; hal-hal seperti buffering, struktur GOP, pengaturan encoder, kondisi jaringan, transcoding, protokol transport, perilaku pemutar, dan bitrate adaptif semuanya penting. Memilih AV1 tidak secara otomatis memberikan penundaan yang sangat rendah, dan memilih H.265 juga tidak menjaminnya. Tetapi untuk penggunaan real-time, H.265 tetap menjadi pilihan utama karena encoder dan decoder-nya telah diuji dengan baik, sementara encoding real-time AV1 masih perlu diperiksa, karena dapat lebih menuntut ketika setiap stream harus dienkode dengan cepat.
Sistem video UAV Anda mendapatkan manfaat dari kombinasi teknik ini. Anda melakukan kompresi dengan baik, memproses di edge, dan menggunakan perangkat keras untuk mempercepat. Downlink video Anda mendapatkan kecepatan yang dibutuhkan oleh loop kontrol Anda. Komputasi cepat di edge memungkinkan hal ini.
Dasar-dasar Penggabungan Sensor
Peran Fusi Sensor dalam Persepsi
Penggabungan sensor (sensor fusion) memadukan data dari banyak sensor untuk membangun satu gambaran yang jelas tentang apa yang ada di sekitar Anda. Anda menggabungkan input dari kamera, radar, dan LiDAR untuk memperbaiki titik lemah masing-masing sensor. Kamera memberikan gambar yang tajam tetapi gagal dalam cahaya redup . Radar mengukur jarak dan kecepatan dengan baik dalam cuaca buruk tetapi tidak dapat membaca rambu atau melihat warna. LiDAR membuat peta 3D yang detail tetapi memiliki jangkauan pendek dan biaya tinggi. Ketika Anda menggabungkan berbagai sumber ini, Anda menutupi titik buta masing-masing sensor.
Pendekatan gabungan ini bekerja lebih baik dan lebih andal daripada hanya menggunakan satu sensor. Setiap sensor saja menghadapi masalah akibat cuaca, gangguan sinyal, dan kesalahan pengukuran. Penggabungan data membantu mengurangi masalah ini. Redundansi juga menjaga sistem Anda tetap aman. Jika satu sensor berhenti bekerja, sensor lain masih memberikan informasi penting. Bagi drone atau UAV Anda, keandalan ini sangat penting selama misi yang sulit. Umpan video Anda saja tidak dapat menunjukkan kedalaman, tetapi menambahkan data radar mengisi celah tersebut. Proses penggabungan membangun model lengkap lingkungan sekitar kendaraan Anda, sehingga kinerjanya baik dalam berbagai kondisi, termasuk cuaca buruk dan jarak pandang rendah. Akurasi ini secara langsung meningkatkan persepsi berbasis video Anda.
Tantangan dalam Integrasi Multi-Sensor
Sinkronisasi waktu adalah bagian tersulit dalam menggabungkan beberapa sensor. Setiap sensor menangkap data pada momen yang berbeda. Kamera merekam satu frame pada satu waktu, sementara radar mengambil sampel pada waktu lain. Ketika Anda mencampur data yang tidak selaras, Anda akan menciptakan kesalahan. Kesalahan ini menambah penundaan pada alur persepsi Anda. Untuk kendaraan otonom, bahkan ketidakselarasan kecil pun menyebabkan posisi objek yang salah. Sistem Anda mungkin bereaksi terhadap posisi pejalan kaki sebelumnya, bukan posisi mereka sekarang. Ketidakselarasan ini secara langsung merusak kualitas transmisi video Anda, karena informasi yang ditampilkan menjadi usang.
Penelitian menunjukkan metode fusi tingkat rendah probabilistik menggunakan data LiDAR, RADAR, dan kamera untuk mencapai latensi rendah. Pendekatan ini menggabungkan pengukuran sensor mentah di awal alur kerja, bukan setelah pemrosesan terpisah. Anda mengurangi penundaan dengan melewati beberapa langkah pemrosesan. Data sensor ditangani sekali, pada data gabungan, bukan secara terpisah untuk setiap sensor. Strategi fusi ini menjaga jalur transmisi Anda tetap pendek dan waktu respons Anda cepat.
Untuk sistem transmisi video UAV Anda, sinkronisasi secara langsung memengaruhi kualitas video. Ketika data sensor tiba terlambat, overlay video Anda menampilkan informasi yang sudah usang. Anda membutuhkan pengaturan waktu yang tepat di semua sensor untuk menjaga kesadaran yang akurat. Drone Anda bergantung pada data yang tersinkronisasi ini untuk penerbangan yang aman. Mengirim data gabungan, daripada aliran terpisah, menurunkan kebutuhan bandwidth dan menjaga umpan video Anda tetap responsif. Sistem yang tersinkronisasi dengan baik menjaga transmisi video Anda tetap stabil bahkan selama pergerakan cepat. Anda menghindari jitter dari pembacaan sensor yang tidak sesuai. Downlink video UAV Anda tetap jernih, dan loop kontrol Anda mendapatkan data yang akurat setiap siklus.
Menerapkan Fusi Sensor untuk Latensi Rendah
Algoritma untuk Penyelarasan Data Waktu Nyata
Filter Kalman adalah alat kunci untuk fusi sensor. Anda menggunakannya untuk menggabungkan data dari IMU dan kamera. Filter ini menebak keadaan sistem Anda. Kemudian, tebakan tersebut diperbaiki dengan pembacaan sensor baru. Proses ini berulang dalam sebuah siklus. Setiap siklus memberi Anda gambaran yang lebih baik tentang posisi Anda. Metode ini membantu transmisi gambar latensi rendah Anda bekerja dengan baik.
Untuk sistem yang tidak linier, Extended Kalman Filter (EKF) bekerja lebih baik. Drone atau UAV Anda tidak terbang dalam garis lurus. EKF membuat sistem menjadi linier di setiap langkah. Ini memberikan hasil yang lebih baik untuk pergerakan nyata. Penelitian menunjukkan bahwa fusi sensor berbasis EKF dapat mencapai tingkat pembaruan tinggi dengan latensi rendah, cocok untuk sistem waktu nyata.
Pengujian kinerja menunjukkan bahwa varian EKF tingkat lanjut dapat meningkatkan akurasi secara signifikan.
Sinkronisasi waktu antar sensor masih menjadi tantangan besar. Kamera dan radar menggunakan jam yang berbeda. Kamera biasanya beroperasi pada 30 hingga 60 FPS. Radar beroperasi pada kecepatan yang berbeda. Hal ini menciptakan celah waktu. Masalah sinkronisasi tingkat perangkat keras berasal dari metode komunikasi yang berbeda. Tanpa referensi waktu yang sama , pencocokan peristiwa menjadi tidak dapat diandalkan. Alarm palsu meningkat. Perubahan suhu, getaran, dan gangguan elektromagnetik menyebabkan pergeseran waktu. Hal ini mengurangi akurasi sinkronisasi seiring waktu. Penyelarasan yang buruk menyebabkan positif palsu dan negatif palsu dalam aliran video Anda. Sistem Anda membutuhkan pengaturan waktu yang akurat untuk fusi yang baik.
Sinkronisasi yang tepat dapat secara signifikan mengurangi latensi fusi dan meningkatkan akurasi.
Mengoptimalkan Alur Pemrosesan
Anda mendesain alur kerja (pipeline) untuk mengurangi penundaan. Gunakan pemrosesan paralel sebagai metode utama. Bagi tugas ke beberapa unit komputasi. Satu unit menangani kompresi video. Unit lain memproses data sensor. Unit ketiga menjalankan algoritma fusi. Metode ini sangat mengurangi penundaan ujung-ke-ujung. Anda mendapatkan penundaan rendah di seluruh alur kerja.
Sistem berbasis FPGA menawarkan penggabungan sensor dengan penundaan yang sangat rendah. FPGA memproses data langsung di perangkat keras. Mereka melewati overhead pemrosesan perangkat lunak. Misalnya, sistem yang menggunakan gateway USR-M300 dengan akselerasi NPU mencapai inferensi 35 fps, menunjukkan pemrosesan waktu nyata. Transmisi UAV Anda mendapat manfaat dari ini. Anda mendapatkan pemrosesan waktu nyata tanpa menunggu cloud. Inilah komputasi edge yang terbaik.
Tersedia platform untuk fusi sensor waktu nyata yang mendukung transmisi data latensi rendah, menangani penyelarasan dan pemrosesan data secara otomatis. Hal ini membuat pengunduhan video Anda lebih cepat dan lebih andal.
Ikuti praktik terbaik ini untuk pengaturan Anda. Gunakan stempel waktu berbasis perangkat keras untuk menyelaraskan data dari berbagai sensor. Pasang pengontrol antarmuka sensor khusus untuk mengelola aliran data. Gunakan struktur interupsi khusus sensor untuk pengambilan data tepat waktu. Gunakan pengontrol pewaktu khusus atau jam yang terkunci GPS untuk menghentikan penyimpangan waktu.
Anda juga harus menyetel filter Anda dengan benar. Sesuaikan matriks Q dan R dalam filter Kalman. Seimbangkan akurasi estimasi dengan kecepatan. Sesuaikan ukuran jendela penyetelan. Jendela yang lebih besar meningkatkan presisi tetapi menggunakan lebih banyak memori dan menambah penundaan. Gunakan pembobotan sensor untuk mengutamakan input yang lebih akurat. Gunakan matematika titik tetap untuk perangkat dengan sumber daya terbatas. Ini mengurangi beban komputasi dan memastikan waktu eksekusi yang stabil.
Sistem transmisi video drone atau UAV Anda mendapatkan keuntungan dari metode ini. Anda menggabungkan komputasi tepi dengan akselerasi FPGA. Data video Anda bergerak melalui saluran pemrosesan dengan cepat. Algoritma fusi memprosesnya secara waktu nyata. Pengaturan komputasi berkinerja tinggi Anda menangani pekerjaan tersebut. Hasilnya adalah umpan video cepat yang menjaga keakuratan loop kontrol Anda. Transmisi video Anda menjadi bagian yang andal dari sistem otonom Anda. Saluran transmisi video Anda harus dibuat cepat.
Latensi rendah adalah tantangan holistik. Optimalkan jalur transmisi video dan pipeline pemrosesan. Gunakan kompresi yang efisien, komputasi edge, akselerasi perangkat keras, dan algoritma fusi yang tangguh. Pemrosesan paralel mendistribusikan tugas di seluruh prosesor multi-core atau FPGA. Akselerasi perangkat keras dapat mencapai waktu inferensi yang rendah, memungkinkan navigasi real-time untuk UAV. Untuk sistem transmisi video UAV Anda, evaluasi kebutuhan Anda. Tautan video drone membutuhkan penyetelan yang berbeda dari kendaraan otonom. Downlink video Anda tetap responsif. Sistem transmisi video Anda menangani fusi sensor dengan penundaan minimal. Transmisi video Anda bergantung pada pilihan-pilihan ini. Umpan video Anda membutuhkan latensi rendah. Data video Anda mengalir secara efisien. Kualitas video tetap tinggi. Aliran video Anda bekerja dengan andal. Keterampilan ini penting seiring pertumbuhan kecerdasan real-time. Drone Anda mendapat manfaat. UAV beroperasi dengan aman. Misi drone berhasil.
FAQ (Pertanyaan Umum)
Apa tantangan terbesar dalam transmisi video latensi rendah untuk UAV?
Masalah terbesar adalah kemacetan jaringan. Anda perlu mengkodekan video Anda dengan baik. Transmisi video UAV Anda harus menggunakan H.265. Kecepatan unduhan video yang stabil menjaga agar siklus kontrol Anda tetap cepat.
Bagaimana penggabungan sensor meningkatkan kinerja tautan video drone?
Penggabungan sensor mencampurkan data kamera dan radar. Ini mengurangi pemrosesan terpisah. Tautan video drone Anda menjadi lebih cepat. Drone Anda mendapatkan data video yang akurat. Transmisi video Anda tetap andal. Tautan video Anda tetap stabil.
Mengapa sinkronisasi waktu sangat penting untuk transmisi video UAV Anda?
Sinkronisasi waktu menyelaraskan semua data sensor. Tanpa itu, video Anda akan menunjukkan posisi yang salah. Data video Anda menjadi tidak dapat diandalkan. Untuk transmisi video UAV, sinkronisasi ini menghindari penundaan. Pengiriman video Anda tetap akurat.
Bagaimana edge computing dapat meningkatkan transmisi video Anda?
Edge computing bekerja pada video di dekat kamera. Ini mengurangi waktu tempuh. Drone Anda mendapatkan keuntungan dari pemrosesan video yang lebih cepat. UAV Anda beroperasi dengan lebih sedikit penundaan. Transmisi video Anda menjadi lebih andal.
