高速影像擷取與處理概述

高速影像擷取與處理概述
圖片來源: unsplash

想像一下,一顆子彈穿過一個脆蘋果。你眨一下眼,就完全錯過了。普通相機無法捕捉這轉瞬即逝的瞬間。高速影像捕捉技術改變了一切。這項技術記錄的事件速度快到肉眼無法捕捉,它能將時間凝固,展現隱藏的細節。

想想拍攝那顆子彈的攝影機。它的最高速度達到了每秒150,000萬幀。如此高的速度需要特殊的燈光才能正確曝光每一格。

用於拍攝子彈擊中蘋果的高速攝影機每秒拍攝幀數達到 150,000 萬幀,需要特殊的照明才能捕捉到這一事件。

你需要學習基礎知識。幀速率、曝光時間和光照權衡都很重要。你還需要處理海量數據。這項高速影像技術在科學、工業和體育分析領域都發揮著重要作用。

關鍵要點

  • 高速成像技術能夠捕捉到人眼無法捕捉到的快速事件,幀速率從每秒 250 幀起,在專用系統中可達每秒數百萬幀。

  • 更高的幀率需要更亮的燈光和更短的曝光時間,這樣影像才不會模糊或太暗。

  • 高速成像會產生大量數據,因此快速處理和壓縮是實際應用的關鍵。

  • 高速攝影機可以幫助工廠更好地檢查質量,減少高達 90% 的缺陷,並且可以透過顯示精確的動作來改進體育分析。

  • 事件相機和人工智慧處理等新技術使高速成像更容易使用,功能也更強大。

高速影像擷取基礎知識

幀速率和曝光時間是高速影像拍攝的基礎。幀率是指相機每秒拍攝的照片數量,單位為幀每秒 (FPS)。曝光時間是指感光元件收集光線拍攝一張照片所需的時間。這兩個設定共同決定了你能拍攝什麼樣的照片。

幀速率和曝光時間

相機的幀率取決於兩個因素:曝光時間和讀取時間。讀取時間是指感測器在曝光後發送資料所需的時間。當單幀拍攝時間長於曝光時間和讀取時間總和時,每個週期結束後,下一個週期才會開始。這種非重疊模式雖然比較簡單,但會降低拍攝速度。重疊模式則是在讀取上一幀的同時開始下一幀的曝光,從而顯著提高有效幀速率。

不同的應用場景需要不同的幀速率。下表列出了常見情況下的典型幀速率。

應用場景

典型幀率

標準監控

FPS 30

中等速度檢測

FPS 60

高速製造

FPS 120

專業應用

250+幀

例如,一條以每秒10公尺速度移動的包裝線至少需要60幀/秒的幀速率。這樣才能清楚地拍攝到每個產品的影像,以便進行即時品質檢查。電子產品和印刷電路板(PCB)的檢測通常也需要60幀/秒或更高的幀速率,以幫助操作人員控制檢測過程。

科學研究不斷突破這些極限。基本的高速成像技術從250幀/秒起步,曝光時間低於1/1000秒。像Mega Speed Max-V3這樣的商業系統可以達到3000幀/秒,曝光時間僅75微秒。而先進的CCD系統甚至可以達到25萬幀/秒。

速度與光速之間的權衡

相機拍照時,照片並非只顯示某一瞬間,而是記錄了整個曝光時間內的畫面。移動的物體看起來會模糊,或是沿著運動方向出現拖影。

當主體在曝光過程中大幅移動時,就會出現動作模糊。曝光時間越長,模糊程度越大。曝光時間越短,運動越清晰,但需要更多的光線。在25,700 fps 的幀率下,最長曝光時間為 39 微秒。而在 1 萬 fps 的幀率下,最長曝光時間則降至 733 奈秒。如此短暫的曝光時間需要極強的光線,以避免出現昏暗無用的畫面。

影像擷取速度與解析度之間存在權衡關係。更高的幀速率會增加資料流量,從而限制像素數量。背照式照明透過增加光子接收區域來改善此問題。這使得感測器能夠在全解析度下達到 76,000 fps 的幀速率,同時減少所需的光照量。您必須根據應用需求,在速度、解析度和光照量之間取得平衡。

關鍵部件和技術

關鍵部件和技術
圖片來源: pexels

高速攝影機和感測器

相機的感應器將光訊號轉換成電訊號。感測器主要分為兩大類:CCD 和 CMOS。 CCD感測器能夠提供高品質的影像。 CMOS 感光元件則能快速拍攝。在低光照環境下,背照式堆疊 CMOS 感測器的讀取速度更快,並能減少滾動快門失真。一些背照式 sCMOS 感測器的量子效率可達 95% 以上,填充因子達到 100%,這意味著它們幾乎可以捕捉到所有入射光子。這些高解析度感光元件還能以全解析度達到高達 82 fps 的連拍速度。

處理能力與感測器同等重要。 FPGA 和 GPU 以不同的方式加速影像處理。 28nm 製程的 FPGA 在幀速率、功耗和電晶體利用率方面,能源效率比桌上型 GPU 高出 22 倍。對於特定任務,FPGA 在 k-means 聚類演算法上可實現高達 8 倍的加速。它們的運作效率也比 ARM Cortex-A7 CPU 高出 57 倍,比 NVIDIA GeForce GTX980 GPU 高出 28 倍。瑞薩電子的 RZ/A2M MPU 將動態可重構處理器與 Arm Cortex-A9 CPU 結合。與上一代產品相比,它的影像處理效能提升了 10 倍,同時功耗極低,使其成為電池供電設備的理想選擇。

照明和觸發系統

照明決定了高速影像能否捕捉到有用的細節。 LED燈是最佳選擇,因為它們具有節能、耐用、光輸出穩定且色溫可調等優點。不同的照明設定各有不同的用途。環形燈可以消除方向性陰影。背光可以實現精確的邊緣檢測,用於尺寸測量。暗場照明可以顯示平面上的微小划痕。在偵測速度超過300毫米/秒的情況下,即使曝光時間只有5毫秒,除非光源在快門視窗內強烈閃爍,否則也會產生動作模糊。

觸發功能可將相機與照明和其他零件同步。硬體觸發(例如透過 BNC 電纜傳輸的 TTL 脈衝)無需軟體輔助即可實現高速、高精度控制。輸入觸發模式允許外部硬體啟動曝光。輸出觸發模式可讓相機控制外部設備,例如透過「曝光輸出 1-4」控制四個獨立的光源。這種同步對於機器視覺應用至關重要,因為精確的曝光時間可以防止運動模糊和遺漏影格。對於高速影像擷取,正確的觸發可確保每個畫面都捕捉到所需的瞬間。

高速影像處理和資料處理

高速影像處理和資料處理
圖片來源: pexels

拍照只是開始。難點在於資料傳輸和處理。如今的工業相機每秒鐘產​​生數十GB的數據,而且採集速度極快。你需要將這些海量資料從相機傳輸到電腦、GPU和儲存設備,同時也要確保系統運作速度不受影響。

每秒管理千兆位元組

您的系統存在多個資料處理問題。頻寬限制會影響每秒產生數百萬個事件的高解析度感測器。當您使用大量感測器時,USB 3.0 和 PCIe 等常用連接會過載。記憶體管理也存在困難。傳統的循環緩衝區無法處理突發且不可預測的事件流。場景的複雜度越高,所需的記憶體就越大。

不同類型的相機以不同的方式管理頻寬。普通相機和單光子雪崩二極體(SPAD)相機按設定的時間進行採樣,並發送全亮度幀。這會消耗大量頻寬。事件相機透過僅記錄亮度變化(即簡單的開/關事件)來解決這個問題。它們能夠在低頻寬佔用的情況下實現快速運行。一些系統將SPAD與基於事件的自適應採樣結合,以應對這些頻寬限制。

頻寬限制會直接影響系統效能。相機軟體會根據您的資料傳輸速度限制來計算最高幀速率。降低此限制會降低幀速率。較低的限制會在每行影像後增加停頓。這會減慢感測器讀取資料的速度,加劇滾動快門效應,並降低影像品質。

GPU 處理可以幫助您突破這些頻寬限制。 GPU 系統比 FPGA 更容易編程,並且仍然能夠實現高速幀率處理。基於 GPU 的運動分析可以高速進行即時全像素處理。這使得 GPU 成為高吞吐量成像作業的理想選擇。

即時處理演算法

要使即時演算法高效運行,需要在品質和速度之間取得平衡。你需要能夠快速處理資料以實現快速回應,同時又能確保準確性的演算法。 FPGA 對於某些影像尺寸可達10,000 到 12,500 fps的高幀率。但它們編程難度大,記憶體有限。 GPU 則是更簡單的選擇。它們能夠即時提供物體檢測和運動分析的結果,而無需像 FPGA 開發那樣經歷繁瑣的學習過程。

選擇哪種演算法取決於您的特定需求。對於快速影像分析,基於 GPU 的方法能夠以合理的設定工作量提供所需的速度。這種平衡使您能夠在實際生產系統中處理千兆像素等級的影像。

應用程序和用例

高速成像技術改變了我們看待世界的方式。科學家、工程師和創造者利用它來觀察僅持續幾毫秒的事件。每個領域都以各自的方式運用相同的基本原理。

科學研究與工業檢驗

研究實驗室利用高速攝影機來研究快速發生的事件。流體動力學專家研究血液流動、洋流和飛行。材料科學家觀察相變和化學反應。生物力學研究人員研究肌肉運動和細胞行為。這些研究都需要精確的時間控制和特殊的照明設備。

工業檢測利用高速成像技術進行品質檢查。常見應用包括半導體、電子產品、食品、飲料、消費品和藥品的檢測。其他應用還包括生物醫學檢測、電動汽車電池檢測、焊接和汽車碰撞測試

高速系統在許多方面都優於人工檢查。它們運行速度更快、更穩定、更準確,而且可以全天候運行。自動記錄功能透過數據審查提供了更好的追蹤效果。

高速成像優於人工檢測。它工作速度更快、穩定性更高、精度更高、可全天候運行、降低人工成本,並且透過自動記錄和數據審查實現更好的追蹤。

實際效益很大

改善領域

百分比/值

缺陷逃逸率降低

根本原因辨識速度

70%的速度

保固索賠減少

首次通過率提升

檢測精度

亞像素級(<0.1毫米)

這些系統利用極短的曝光時間凝固運動。它們以全速生產的方式檢查每一個單元。邊緣人工智慧可在毫秒內發現缺陷,從而立即剔除不合格零件。這使得高速成像對現代工廠至關重要。

體育分析與娛樂

運動員和教練使用高速攝影機來改進動作姿勢。一項比較30 幀/秒和 120 幀/秒二維運動分析的研究發現,更高的幀速率能顯著提高運動精度。這對於測量落地和切入等快速動作中的膝關節角度和軀幹彎曲度至關重要。較低的幀速率可能會遺漏這些角度,而這些角度有助於發現運動傷害風險。

不同的運動項目需要不同的速度。以500-1000 幀/秒的速度進行短跑,起跑瞬間會被分割成幾十幀。頂尖短跑選手每秒大約跑 4.6 步,每一步大約持續 217 毫秒。以 1000 幀/秒的速度拍攝,每一步就會出現 217 幀。高爾夫球桿擊球的瞬間大約持續 0.5 毫秒。一台 1000 幀/秒的攝影機大約能捕捉到這次擊球的 5 幀畫面。棒球棒擊球的瞬間大約持續 0.7 毫秒,而球速超過 170 公里/小時。

廣播公司使用特殊的隔離攝影機追蹤明星球員。像EVS廣播設備公司這樣的專業回放系統負責處理這些畫面。 2019年的一項調查顯示,257輛高畫質行動轉播車中有213輛使用了EVS的回放設備。這些系統透過視訊助理裁判(VAR)和鷹眼等工具輔助裁判進行判罰。

娛樂業也依賴高速成像技術。電影和電子遊戲的動作捕捉技術使用光學追蹤系統。虛擬製作則利用數位角色追蹤攝影機,實現即時視覺效果。音樂錄影帶《Crip Ya Enthusiasm》使用了16台Vicon Vero 2.2攝影機和虛幻引擎。這套系統實現了即時動作捕捉和虛擬製作。這些創意應用展現了機器視覺技術在工廠之外的廣泛應用。

挑戰和未來方向

資料儲存、頻寬和成本

高速攝影機在短短幾秒鐘內就能產生大量資料。一次錄音就能佔用數TB的儲存空間。這給許多團隊帶來了巨大的難題。他們面臨三大主要問題:儲存空間、頻寬限制和設備成本。

成本不僅體現在相機本身。能以10萬幀/秒拍攝的專業機型售價高達100,000萬美元甚至更高。一台50,000萬像素的相機售價在4萬到10,000萬美元之間。全域快門感測器會使價格再增加5,000到30,000萬美元。 20,000GB或以上的內建儲存空間會使價格上漲2,000到10,000萬美元。普通相機的連拍速度只有60-120幀/秒,因此無法用於高速拍攝。

中小企業通常會選擇價格較低的方案,或延後升級。總成本包括資料儲存系統、高效能電腦和安裝服務。這些費用累積起來相當可觀。

壓縮方法有助於管理儲存需求。有損編碼格式如 H.264 和 H.265能在維持良好畫質的同時大幅縮小檔案大小。 VP9 和 AV1 提供類似的免費選項。對於無損壓縮需求,HuffYUV 和 Lagarith 可在不損失畫質的情況下快速編碼。空間壓縮利用離散餘弦變換去除幀內重複資料。時間壓縮則透過運動估計尋找相鄰幀之間的相似性。這些方法顯著降低了儲存需求,使高速成像在日常應用中更加實用。

新興科技和趨勢

事件相機為高速成像帶來了重大變革。與按固定時間拍攝完整畫面的常規感應器不同,事件相機僅記錄亮度變化。這種方法產生的資料量極少,卻能實現高速偵測和追蹤。您可以觀察金屬加工中快速移動的火花,研究每個像素的振動頻率,並支援即時機器人導航。低延遲和小數據量使得事件相機成為科學測量和注重隱私的行為分析的理想選擇。

人工智慧改變了高速影像的處理方式。計算成像與人工智慧的結合,打造出智慧系統,這些系統專注於偵測精度而非原始資料擷取。典型的人工智慧流程包含五個步驟:採集、傳輸、預處理、分析和結果傳輸。卷積神經網路在FPGA上處理影像,實現即時處理,從而做出即時決策。這種方案能夠實現工廠中的自動錯誤檢測,並支援千兆像素的處理任務,而這些任務對於舊系統來說將不堪重負。

邊緣運算和 5G 網路開啟了更多可能性。這些技術使得跨互聯繫統的即時協作成為可能。機器視覺的未來在於智慧採集、處理和決策的無縫協作。隨著大規模生產和模組化設計帶來的成本下降,高速成像技術將惠及更多產業和研究人員。

高速成像技術能夠展現肉眼無法看見的世界。每個系統都需要權衡利弊。更快的幀速率需要更強的光源。更高的解析度會產生海量資料流。您必須根據預算和目標來權衡這些因素。

攝影機、燈光和處理流程的選擇決定了最終的成敗。體育分析師和工廠檢驗員所需的設備截然不同。務必根據具體應用場景選擇合適的設備。在購買昂貴的硬體之前,務必先測試一下你的設備配置。

這個領域日新月異。事件驅動型攝影機和人工智慧處理技術開啟了新的可能性。您可以從小規模的演示系統入手,或探索您所在行業的案例研究。不妨租用一台高速攝影機,親身感受其卓越之處。那些等待著您的精彩瞬間,絕對值得您付出努力。

常見問題

高速成像的幀速率是多少?

高速成像的幀率從每秒250幀起。曝光時間維持在1/1000秒以下。商用相機的幀率可達每秒3000張。科學研究系統最高可達每秒25萬幀。

為什麼更高的幀速率需要更強的光照?

短曝光時間意味著進光量較少。在每秒1萬張畫面的拍攝速度下,每次曝光僅持續733奈秒。為了避免出現暗幀,需要使用強光光源。 LED燈非常適合用於此目的。

如何處理高速攝影機產生的大量資料?

高速攝影機每秒產生數十GB的資料。 GPU處理可以幫助您應對如此龐大的資料負載。諸如H.264之類的壓縮方法可以在保持良好畫質的同時減少檔案大小。

事件觸發式攝影機與一般攝影機有何不同?

事件相機只記錄亮度變化,不捕捉完整幀,因此產生的資料量非常少。在機器視覺系統中,它可以低延遲地追蹤快速移動的物體。

發表評論

您的電子郵件地址不會被公開。帶*號的為必填項。