Una visió general de l'adquisició i el processament d'imatges d'alta velocitat

Una visió general de l'adquisició i el processament d'imatges d'alta velocitat
Font de la imatge: Desplash

Imagineu-vos una bala esclafant-se contra una poma cruixent. Parpellegeu i no us ho perdeu gens. Les càmeres normals no poden captar aquest moment tan ràpid. La captura d'imatges d'alta velocitat ho canvia tot. Aquesta tecnologia registra esdeveniments massa ràpid per als vostres ulls, congelant el temps per mostrar detalls ocults.

Pensa en la càmera que va filmar aquella bala. Va assolir una velocitat màxima de 150,000 fotogrames per segon . Aquesta velocitat necessitava llums especials per exposar cada fotograma correctament.

La càmera d'alta velocitat utilitzada per filmar una bala que impactava contra una poma va arribar als 150,000 fotogrames per segon, necessitant una il·luminació especial per capturar l'esdeveniment.

Cal aprendre els conceptes bàsics. Les velocitats d'imatges, els temps d'exposició i els inconvenients de la il·luminació són importants. També cal gestionar grans quantitats de dades. Aquesta tecnologia d'imatges d'alta velocitat ajuda en l'anàlisi científica, industrial i esportiva.

Sortides de claus

  • Les imatges d'alta velocitat capturen esdeveniments massa ràpids per a l'ull humà, amb velocitats de fotograma a partir de 250 fps i que arriben a milions de fps en sistemes especialitzats.

  • Les freqüències de fotogrames més altes necessiten llums més brillants i temps d'exposició més curts perquè les imatges no es tornin borroses ni massa fosques.

  • Les imatges d'alta velocitat creen grans quantitats de dades, per la qual cosa el processament i la compressió ràpids són clau per a l'ús en el món real.

  • Les càmeres d'alta velocitat ajuden les fàbriques a comprovar millor la qualitat, reduint els defectes fins a un 90%, i milloren l'anàlisi esportiva mostrant moviments exactes.

  • Les noves tecnologies com les càmeres basades en esdeveniments i el processament d'IA fan que les imatges d'alta velocitat siguin més fàcils d'utilitzar i més capaces.

Fonaments de l'adquisició d'imatges d'alta velocitat

La freqüència d'imatges i el temps d'exposició són els conceptes bàsics de la captura d'imatges d'alta velocitat. La freqüència d'imatges és el nombre de fotos que fa la càmera cada segon. Es mesura en fotogrames per segon (FPS). El temps d'exposició és el temps que el sensor capta la llum per a una imatge. Aquests dos paràmetres junts decideixen què podeu capturar.

Freqüències de fotogrames i temps d'exposició

La freqüència d'imatges de la càmera depèn de dues coses: el temps d'exposició i el temps de lectura. El temps de lectura és el temps que triga el sensor a enviar dades després de l'exposició. Quan el temps d'un fotograma és més llarg que la suma de l'exposició i la lectura, cada cicle finalitza abans que comenci el següent. Aquest mode sense superposició és més senzill però alenteix. El mode superposició inicia la següent exposició mentre es llegeix el fotograma anterior. Això augmenta considerablement la freqüència d'imatges efectiva.

Diferents usos necessiten diferents velocitats. La taula següent mostra les freqüències de fotogrames típiques per a situacions comunes.

Escenari d'aplicacions

Freqüència de fotogrames típica

Seguiment estàndard

30 fps

Inspecció a velocitat moderada

60 fps

Fabricació d'alta velocitat

120 fps

Aplicacions especialitzades

Més de 250 fps

Per exemple, una línia d'envasament que es mou a 10 metres per segon necessita almenys 60 fps. Això permet obtenir imatges clares de cada producte per a controls de qualitat en temps real. La inspecció d'electrònica i PCB sovint necessita 60 fps o més per ajudar els operadors a controlar el procés.

La recerca científica empeny aquests límits encara més. La definició bàsica d'alta velocitat comença a 250 fps amb temps d'exposició inferiors a 1/1000 de segon. Els sistemes comercials com el Mega Speed ​​Max-V3 poden arribar als 3000 fps amb exposicions de 75 microsegons. Els sistemes CCD avançats poden arribar fins als 25 milions de fps.

Compromisos entre velocitat i llum

Quan una càmera fa una foto, aquesta imatge no mostra ni un sol moment. Mostra l'escena al llarg de tot el temps d'exposició. Els objectes en moviment apareixen borrosos o tacats al llarg de la direcció en què es mouen.

El desenfocament de moviment es produeix quan l'objectiu es mou molt durant l'exposició. Els temps d'exposició més llargs provoquen més desenfocament. Els temps d'exposició més curts congelen el moviment però necessiten més llum. A 25,700 fps , l'exposició més llarga és de 39 microsegons. A 1 milió de fps, baixa a 733 nanosegons. Aquestes petites finestres d'exposició necessiten una llum molt brillant per evitar fotogrames foscos i inútils.

La velocitat de captura d'imatges també influeix en la resolució. Les velocitats de fotogrames més altes augmenten el flux de dades, cosa que limita el nombre de píxels . La il·luminació posterior ajuda a fer que l'àrea que capta els fotons sigui més gran. Això permet que els sensors arribin a 76,000 fps a màxima resolució i necessiten menys llum. Heu d'equilibrar la velocitat, la resolució i la llum en funció de les necessitats de l'aplicació.

Components i tecnologies clau

Components i tecnologies clau
Font de la imatge: pexels

Càmeres i sensors d'alta velocitat

El sensor de la càmera converteix la llum en senyals elèctrics. N'hi ha dos tipus principals: CCD i CMOS . Els sensors CCD proporcionen imatges d'alta qualitat. Els sensors CMOS permeten una captura ràpida. Per a configuracions de poca llum, els sensors CMOS apilats retroil·luminats llegeixen més ràpidament i redueixen la distorsió de l'obturador giratori. Alguns sensors sCMOS retroil·luminats aconsegueixen una eficiència quàntica superior al 95% amb un factor d'ompliment del 100%, és a dir, capturen gairebé tots els fotons que hi arriben. Aquests sensors d'alta resolució també ofereixen fins a 82 fps a resolució completa.

La potència de processament importa tant com el sensor. Les FPGA i les GPU acceleren el processament d'imatges de maneres diferents. Una FPGA de 28 nm ofereix 22 vegades més eficiència energètica que una GPU d'escriptori quan es combinen fotogrames per segon, consum d'energia i utilització de transistors. Per a tasques específiques, les FPGA aconsegueixen una acceleració de fins a 8 vegades superior per a la agrupació en clústers de k-means. També funcionen 57 vegades més eficientment que una CPU ARM Cortex-A7 i 28 vegades més eficientment que una GPU nVIDIA GeForce GTX980. La MPU Renesas RZ/A2M combina un processador dinàmicament reconfigurable amb una CPU Arm Cortex-A9. Ofereix un rendiment de processament d'imatges 10 vegades superior al del seu predecessor amb un consum d'energia molt baix, cosa que la fa perfecta per a dispositius alimentats per bateria.

Sistemes d'il·luminació i activació

La il·luminació decideix si la imatge d'alta velocitat captura detalls útils. Els LED són la millor opció perquè ofereixen eficiència energètica, durabilitat i una sortida de llum constant amb temperatures de color ajustables. Diferents configuracions d'il·luminació serveixen per a diferents propòsits. Els llums circulars eliminen les ombres direccionals. Les retroiluminación permeten una detecció precisa de les vores per a la mesura dimensional. La il·luminació de camp fosc revela microesgarrapades en superfícies planes. A velocitats d'inspecció superiors a 300 mm/s, fins i tot una exposició de 5 ms crea un desenfocament de moviment, tret que la llum estroboscòpica intensament dins de la finestra de l'obturador.

El disparador sincronitza la càmera amb la il·luminació i altres components. Els disparadors de maquinari, com ara els polsos TTL mitjançant cables BNC, permeten un control d'alta velocitat i alta precisió sense ajuda de programari. Els modes de disparador d'entrada permeten que el maquinari extern iniciï l'exposició. Els modes de disparador de sortida permeten que la càmera controli dispositius externs, com ara quatre fonts de llum separades mitjançant Expose Out 1–4. Aquesta sincronització és vital per a les aplicacions de visió artificial on el temps d'exposició exacte evita el desenfocament del moviment i la pèrdua de fotogrames. Per a l'adquisició d'imatges d'alta velocitat, el disparador adequat garanteix que cada fotograma capturi el moment que necessiteu.

Processament d'imatges i maneig de dades d'alta velocitat

Processament d'imatges i maneig de dades d'alta velocitat
Font de la imatge: pexels

Fer la foto és només el principi. La part difícil és moure's i treballar amb les dades. Les càmeres industrials actuals creen desenes de gigabytes de dades cada segon a velocitats de captura molt elevades. Cal enviar aquesta enorme quantitat de dades des de la càmera a l'ordinador, la GPU i l'emmagatzematge sense alentir les coses.

Gestió de gigabytes per segon

El vostre sistema té diversos problemes de gestió de dades. Els límits d'amplada de banda afecten els sensors d'alta resolució que creen milions d'esdeveniments cada segon . Les connexions comunes com ara USB 3.0 i PCIe es sobrecarreguen quan feu servir molts sensors. La gestió de la memòria també és difícil. Els buffers circulars d'estil antic no poden gestionar fluxos d'esdeveniments sobtats i imprevisibles. Les necessitats de memòria poden créixer amb la complexitat de l'escena.

Diferents tipus de càmeres gestionen l'amplada de banda de maneres diferents. Les càmeres normals i els SPAD prenen mostres a moments determinats i envien fotogrames de brillantor completa. Això utilitza molta amplada de banda. Les càmeres d'esdeveniments ho solucionen registrant només els canvis de brillantor com a simples esdeveniments d'activació/desactivació. Permeten un funcionament ràpid amb un baix ús de l'amplada de banda. Alguns sistemes combinen els SPAD amb mostreig adaptatiu basat en esdeveniments per gestionar aquests límits.

Els límits d'amplada de banda afecten directament el rendiment del sistema. El programari de la càmera calcula la velocitat màxima de fotogrames en funció del límit de velocitat de dades. Si es redueix aquest límit, la velocitat de fotogrames es redueix. Un límit més petit afegeix pauses després de cada línia d'imatge. Això alenteix la manera com el sensor llegeix les dades i empitjora l'efecte de l'obturador giratori. També redueix la qualitat de la imatge.

El processament per GPU us ajuda a superar aquests límits d'amplada de banda. Els sistemes GPU són més fàcils de programar que les FPGA i tot i així permeten un processament ràpid de velocitat de fotogrames. L'anàlisi de moviment basada en GPU pot gestionar el processament de píxels complets en temps real a altes velocitats. Això fa que les GPU siguin una bona opció per a treballs d'imatges d'alt rendiment.

Algoritmes de processament en temps real

Fer que els algoritmes en temps real funcionin bé significa equilibrar la qualitat i la velocitat. Calen algoritmes que puguin gestionar les dades ràpidament per obtenir respostes ràpides i alhora ser precisos. Les FPGA poden assolir taxes de fotogrames elevades de 10,000 a 12,500 fps per a certes mides d'imatge. Però són difícils de programar i tenen una memòria limitada. Les GPU són una opció més senzilla. Donen resultats en temps real per trobar objectes i analitzar el moviment sense el difícil procés d'aprenentatge del desenvolupament de FPGA.

L'algoritme que trieu depèn del que necessiteu. Per a una anàlisi ràpida d'imatges, els mètodes basats en GPU us ofereixen la velocitat que necessiteu amb una quantitat raonable de treball de configuració. Aquest equilibri us permet gestionar velocitats de processament de gigapíxels en sistemes de producció reals.

Aplicacions i casos d'ús

La imatgeria d'alta velocitat canvia la manera com veiem el món. Científics, enginyers i creadors la utilitzen per observar esdeveniments que només duren mil·lisegons. Cada camp utilitza les mateixes idees bàsiques a la seva manera.

Recerca Científica i Inspecció Industrial

Els laboratoris de recerca utilitzen càmeres d'alta velocitat per estudiar esdeveniments ràpids. Els experts en dinàmica de fluids observen el flux sanguini, els corrents oceànics i el vol. Els científics de materials observen els canvis de fase i les reaccions químiques. Els investigadors en biomecànica estudien el moviment muscular i el comportament cel·lular. Aquestes tasques necessiten un temps exacte i llums especials.

La inspecció industrial utilitza imatges d'alta velocitat per a controls de qualitat. Les tasques habituals inclouen la comprovació de semiconductors, electrònica, aliments, begudes, béns de consum i medicaments . Altres usos inclouen proves biomèdiques, comprovacions de bateries de vehicles elèctrics, soldadura i proves de xoc de cotxes.

Els sistemes d'alta velocitat superen les comprovacions manuals en molts aspectes. Funcionen més ràpidament, es mantenen consistents, milloren la precisió i funcionen tot el dia i la nit. L'enregistrament automatitzat permet un millor seguiment mitjançant la revisió de dades.

La imatge d'alta velocitat supera la inspecció manual . Funciona més ràpidament, es manté consistent, millora la precisió, funciona les 24 hores del dia, els 7 dies de la setmana, redueix els costos laborals i fa un millor seguiment mitjançant el registre i la revisió automatitzats de dades.

Els guanys reals són grans :

Àrea de millora

Percentatge / Valor

Reducció de la taxa d'escapament de defectes

90%

Velocitat d'identificació de la causa arrel

70% més ràpid

Reducció de reclamacions de garantia

45%

Millora del rendiment en la primera passada

30%

Precisió de detecció

Subpíxel (<0.1 mm)

Aquests sistemes congelen el moviment amb temps d'exposició curts. Verifiquen cada unitat a plena velocitat de producció. La IA Edge troba defectes en mil·lisegons, de manera que les peces defectuoses es rebutgen immediatament. Això fa que les imatges d'alta velocitat siguin vitals per a les fàbriques modernes.

Anàlisi i entreteniment esportiu

Els atletes i entrenadors utilitzen càmeres d'alta velocitat per millorar la forma. Un estudi que compara 30 fps amb 120 fps en l'anàlisi de moviment 2D va trobar que les freqüències d'imatge més altes milloren considerablement la precisió del moviment. Això és important per mesurar els angles de genoll i les flexions del tronc durant moviments ràpids com ara aterratges i talls. Les freqüències d'imatge més baixes poden passar per alt aquests angles, cosa que ajuda a detectar riscos de lesió.

Diferents esports necessiten velocitats diferents. Sprintar a 500-1000 fps divideix l'inici en desenes de fotogrames. Els millors velocistes fan uns 4.6 passos per segon, i cada pas dura aproximadament 217 mil·lisegons. A 1000 fps, s'obtenen 217 fotogrames per pas. Colpejar la pilota amb un pal de golf dura uns 0.5 mil·lisegons. Una càmera de 1000 fps capta uns 5 fotogrames d'aquest cop. Colpejar la pilota amb un bat de beisbol dura uns 0.7 mil·lisegons amb una velocitat de la pilota superior a 170 km/h.

Les emissores utilitzen càmeres d'aïllament especials per seguir els jugadors estrella. Els sistemes de reproducció professionals d'empreses com EVS Broadcast Equipment gestionen aquestes imatges. Una enquesta del 2019 va mostrar que 213 de 257 camions de producció mòbil HD utilitzaven equips de reproducció EVS. Aquests sistemes ajuden els àrbitres amb eines com el VAR i Hawk-Eye.

L'entreteniment també depèn de les imatges d'alta velocitat. La captura de moviment per a pel·lícules i videojocs utilitza sistemes de seguiment òptic. La producció virtual rastreja càmeres amb personatges digitals per a visuals en directe. El videoclip "Crip Ya Enthusiasm" utilitzava 16 càmeres Vicon Vero 2.2 amb Unreal Engine. Aquesta configuració permetia la captura de moviment en directe i la producció virtual. Aquests usos creatius mostren com la visió artificial va més enllà de les fàbriques.

Reptes i orientacions futures

Emmagatzematge de dades, amplada de banda i cost

Les càmeres d'alta velocitat creen grans quantitats de dades en qüestió de segons. Una sessió de gravació pot omplir terabytes d'emmagatzematge . Això crea grans problemes per a molts grups. Us enfronteu a tres problemes principals: l'espai d'emmagatzematge, els límits d'amplada de banda i els costos dels equips.

El cost va més enllà de la càmera . Els models professionals que disparen a 100,000 fps costen 50,000 dòlars o més . Una càmera de 4 MP costa entre 10,000 i 30,000 dòlars. Els sensors d'obturador global afegeixen entre 5,000 i 20,000 dòlars més. Una memòria interna de 10 GB o més augmenta el preu entre 2,000 i 10,000 dòlars. Les càmeres normals només arriben als 60-120 fps, de manera que no es poden utilitzar per a treballs d'alta velocitat.

Les petites i mitjanes empreses sovint trien opcions més econòmiques o esperen per actualitzar. El cost total inclou sistemes d'emmagatzematge de dades, ordinadors potents i serveis d'instal·lació. Aquests costos s'acumulen ràpidament.

Els mètodes de compressió ajuden a gestionar les necessitats d'emmagatzematge. Els còdecs amb pèrdua com l'H.264 i l'H.265 redueixen molt la mida dels fitxers tot mantenint una bona qualitat. El VP9 i l'AV1 ofereixen opcions gratuïtes amb resultats similars. Per a necessitats sense pèrdues, el HuffYUV i el Lagarith proporcionen una codificació ràpida sense perdre qualitat. La compressió espacial elimina les dades repetides dins dels fotogrames mitjançant la transformada discreta del cosinus. La compressió temporal troba similituds entre fotogrames propers mitjançant l'estimació del moviment. Aquests mètodes redueixen dràsticament les necessitats d'emmagatzematge, fent que les imatges d'alta velocitat siguin més útils per a les tasques quotidianes.

Tecnologies i tendències emergents

Les càmeres basades en esdeveniments suposen un gran canvi en les imatges d'alta velocitat. A diferència dels sensors habituals que capturen fotogrames complets en moments determinats, les càmeres d'esdeveniments només registren els canvis de brillantor. Aquest mètode produeix molt poques dades alhora que permet la detecció i el seguiment a alta velocitat. Podeu observar espurnes que es mouen ràpidament en peces de metall, estudiar les freqüències de vibració de cada píxel i admetre la navegació de robots en temps real. El baix retard i la petita mida de les dades fan que les càmeres d'esdeveniments siguin perfectes per a mesures científiques i anàlisi del comportament centrada en la privadesa.

La intel·ligència artificial canvia la manera com processeu imatges d'alta velocitat. La combinació d'imatges computacionals i IA crea sistemes intel·ligents que se centren en la precisió de la detecció en lloc de la captura de dades en brut. Una cadena de processament d'IA típica té cinc passos : captura, transferència, preprocessament, anàlisi i transferència de resultats. Les xarxes neuronals convolucionals examinen imatges en FPGA, proporcionant un processament instantani per a decisions en temps real. Aquesta configuració permet la detecció automàtica d'errors a les fàbriques i admet tasques de processament de gigapíxels que saturarien els sistemes més antics.

La computació perimetral i les xarxes 5G obren encara més opcions. Aquestes tecnologies permeten treballar en temps real a través de sistemes connectats. El futur de la visió artificial rau en la captura, el processament i la presa de decisions intel·ligents que funcionen conjuntament sense problemes. A mesura que els costos disminueixin a través de la producció en massa i els dissenys modulars, les imatges d'alta velocitat estaran disponibles per a més indústries i investigadors.

Les imatges d'alta velocitat revelen mons que no pots veure amb els teus ulls. Tot sistema exigeix ​​​​compromisos acurats. Les velocitats de fotograma més ràpides necessiten llums més brillants. Les resolucions més altes creen fluxos de dades massius. Heu d'equilibrar aquests factors amb el vostre pressupost i objectius.

L'elecció de càmera, il·luminació i processament determina l'èxit. Un analista esportiu necessita un equipament diferent del d'un inspector de fàbrica. Adapta el teu equipament a la teva aplicació específica. Prova la teva configuració abans de comprometre't amb maquinari car.

El camp continua avançant. Les càmeres basades en esdeveniments i el processament d'IA obren noves possibilitats. Podeu començar a poc a poc amb un sistema de demostració o explorar casos d'estudi del vostre sector. Proveu el lloguer d'una càmera d'alta velocitat per veure la diferència de primera mà. Els moments ocults que us esperen valen la pena.

FAQ

Quina freqüència d'imatges defineix les imatges d'alta velocitat?

Les imatges d'alta velocitat comencen a 250 fotogrames per segon. El temps d'exposició es manté per sota d'1/1000 de segon. Les càmeres comercials poden arribar als 3000 fps. Els sistemes científics capturen fins a 25 milions de fps.

Per què les velocitats de fotograma més ràpides necessiten una llum més brillant?

Les exposicions curtes capten menys llum. A 1 milió de fps, cada exposició dura només 733 nanosegons. Necessiteu llums brillants per evitar enquadraments foscos. Els LED funcionen bé per a aquest propòsit.

Com gestioneu la quantitat enorme de dades que provenen de càmeres d'alta velocitat?

Les càmeres d'alta velocitat produeixen desenes de gigabytes de dades cada segon. El processament de la GPU us ajuda a gestionar aquesta càrrega. Els mètodes de compressió com l'H.264 redueixen la mida dels fitxers alhora que mantenen una bona qualitat.

Què diferencia les càmeres basades en esdeveniments de les normals?

Les càmeres d'esdeveniments només enregistren els canvis de brillantor. No capturen fotogrames complets. Això crea molt poques dades. Podeu seguir objectes ràpids amb un retard baix en sistemes de visió artificial.

Deixa el teu comentari

La teva adreça de correu electrònic no es publicarà. Els camps obligatoris estan marcats amb un *