Izdelava prevajalnika glasu v realnem času zahteva intenzivno računalništvo na robu in brezhibno akustično zasnovo. Ta študija primera podrobno opisuje inženiring večjezičnega prevajalnika z umetno inteligenco. Raziskali boste arhitekturo strojne opreme, strojno opremo za nevronsko strojno prevajanje in stroge zahteve proizvajalca naprav za prevajanje z umetno inteligenco. Cilj je obvladovanje brezhibne in takojšnje strojne opreme za medkulturno komunikacijo.
1. Pregled projekta
1.1 Ozadje stranke
Najprej morate razumeti natančno motivacijo stranke. Velika blagovna znamka potrošniške elektronike je želela izdelati napravo za prevajanje z umetno inteligenco, da bi zajela naraščajoči potovalni razcvet po pandemiji. Ciljni trgi so izrecno vključevali mednarodne potnike, ki se znajdejo v tujih tranzitnih sistemih, poslovne uporabnike, ki se pogajajo o kompleksnih poslih, in strokovnjake za čezmejno e-trgovino.
Preberite tudi: Študija primera avtomobilskega diagnostičnega skenerja
Sprva so ti uporabniki preizkusili aplikacije za pametne telefone. Ni bilo tako dobro. Telefoni zvonijo, obvestila prekinjajo pogovore, izročitev odklenjenega telefona neznancu v tujem mestu pa je nevarna. Cilj je bil jasno opredeljen. Blagovna znamka je želela agresivno konkurirati uveljavljenim blagovnim znamkam prevajalskih naprav z izdelavo namenske, samostojne strojne opreme. Iskali so strokovnega proizvajalca prevajalskih naprav z umetno inteligenco, ki bi jih vodil od prazne bele table do končnega izdelka na prodajnih policah.
1.2 Cilji projekta
Kaj točno smo morali zgraditi? Najprej je naprava seveda zahtevala dvosmerno prevajanje glasu v realnem času. Med povezavo mora podpirati več kot 100 jezikov. Poleg tega je bilo prevajanje brez povezave za glavne jezike nujna zahteva za potnike, ki nimajo mobilnih podatkov. Za uporabo naprave na prenatrpanih železniških postajah boste potrebovali agresivno odpravljanje šumov z umetno inteligenco.
Kar zadeva povezljivost, smo se osredotočili na 4G LTE, potencial 5G in WiFi 6. Uporabniki zahtevajo dolgo življenjsko dobo baterije, kar narekuje osnovno 10 ur neprekinjene aktivne uporabe. Nenazadnje pa poskrbite, da so vse te zahtevne specifikacije zapakirane v kompaktno industrijsko zasnovo žepne velikosti.
2. Izzivi industrije pri razvoju prevajalcev z umetno inteligenco
2.1 Natančnost prepoznavanja govora
Na začetku se zdi zajemanje človeškega govora enostavno. Ni pa. Obravnavanje variacij naglasov poruši večino osnovnih algoritmov. Ali veste? Samo angleški jezik ima na desetine večjih regionalnih naglasov, ki zamenjujejo standardne modele. Filtriranje hrupnega okolja predstavlja še večjo oviro.
Če stojite blizu prometnega križišča, veter in promet preplavita mikrofonski niz. Optimizacija zajemanja mikrofonov na oddaljenem območju je absolutna nujnost. Mikrofonov ne morete kar tako naključno postaviti. Izračunati morate natančen razmik, da ujamete glas z razdalje enega metra, pri čemer ne upoštevate hrupa v ozadju.
2.2 Zakasnitev prevajanja
Kako hitro se mora sistem odzvati? Zmanjšanje zakasnitve med govornim vnosom in prevedenim izhodom narekuje zadovoljstvo uporabnikov. Če je vrzel prevelika, se ljudje preglasijo. To zakasnitev določa ravnovesje med robno umetno inteligenco in obdelavo v oblaku. Obdelava na robu je hitra, vendar porabi veliko energije.
Obdelava v oblaku dostopa do ogromnih jezikovnih baz podatkov, vendar trpi zaradi omrežnega zamika. To je lahko koristno vprašanje: ali slovnico obdelujete lokalno in besedišče preprosto črpate iz oblaka? Iskanje tega arhitekturnega ravnovesja zahteva intenzivno inženirstvo.
2.3 Omejitve modela umetne inteligence brez povezave
Do takrat so razvijalci oboževali ogromne strežnike v oblaku. Z napravo za prevajanje brez povezave se soočate z brutalnimi lokalnimi omejitvami. Na voljo imate omejen vgrajeni pomnilnik. Strojna oprema za globoko nevronsko strojno prevajanje običajno zahteva gigabajte hitrega RAM-a.
Doseči morate močno stiskanje modela, ne da bi pri tem žrtvovali natančnost prevajanja. Učinkovita izraba nevronske procesne enote (NPU) je matematična uganka. Nevronska procesna enota (NPU) izvaja matrične izračune zelo hitro, če pa je pomnilniški cevovod preozek, procesorju primanjkuje podatkov.
2.4 Poraba energije
Na začetku testiranja je ekipo šokiralo praznjenje baterije. Neprekinjen način poslušanja sili procesor, da nenehno išče besedo za prebujanje ali glasovno aktivnost. Vpliv brezžičnega prenosa povzroči ogromne tokovne sunke iz baterije. Mobilni radijski sprejemniki, ki prenašajo podatke v strežnik v oblaku, porabljajo energijo hitreje kot zaslon.
Toplotne omejitve v kompaktnem ohišju težavo še poslabšajo. Toplota se hitro kopiči. Na splošno se izogibajte nameščanju čipov, ki oddajajo toploto, neposredno pod zaslon uporabniškega vmesnika. Ko se čipi preveč segrejejo, zmanjšajo hitrost, kar uniči zakasnitev prevajanja.
3. Zasnova sistemske arhitekture
3.1 Osnovna procesna platforma
Nato bi morali začrtati silicijev temelj. Izbrali smo visoko specializiran sistem na čipu serije ARM Cortex-A. Implementirali smo razporeditev jeder big.LITTLE. Majhna jedra upravljajo stanje pripravljenosti za varčevanje z baterijo, medtem ko se velika jedra takoj prebudijo za obdelavo glasu. Integrirali smo namensko nevronsko procesno enoto (NPU).
Podpora za pospeševanje Edge AI pomeni, da čip izvorno obvladuje tenzorske operacije. Nato lahko uporabite osnovo za vgrajeni operacijski sistem Linux ali Android. Za enostavno upravljanje gonilnikov za zaslon na dotik in radijske sprejemnike smo uporabili okrnjeno osnovo projekta Android Open Source Project.
3.2 Arhitektura avdio podsistema
Drugič, akustična strojna oprema zahteva obsesivno uglaševanje. Implementirali smo štirikolesni MEMS mikrofonski niz. Štirje mikrofoni omogočajo programski opremi, da zgradi tridimenzionalni zemljevid okoliškega zvoka. Specializiran algoritem za oblikovanje žarka usmeri digitalni "stožec" neposredno na usta zvočnika.
Neodvisen DSP za zmanjševanje šuma z umetno inteligenco očisti zvočni tok, še preden se dotakne glavnega procesorja. Modul visokokakovostnega zvočnika je nameščen na dnu ohišja. Želite, da človeški glasovi zvenijo naravno in globoko, brez kovinskih ali robotskih tonov.
3.3 Arhitektura povezljivosti
Tretjič, podatkovne linije morajo biti široke in hitre. Vgradili smo modul WiFi 5 in 6 za hitro povezavo s hoteli in letališči. Bluetooth 5.0 uporabnikom omogoča seznanjanje brezžičnih slušalk za zasebno prevajanje med poslovnimi sestanki.
Izbirni modul 4G LTE in eSIM zagotavlja, da se pametni prevajalnik jezikov (OEM) poveže z globalnimi mobilnimi baznimi postajami brez fizične zamenjave kartice SIM. Funkcija GPS je izbirna, vendar zelo zaželena za potovalne funkcije, saj napravi omogoča preklapljanje med narečji glede na trenutno geografsko lokacijo uporabnika.
3.4 Shranjevanje in varnost
Nato morate zgraditi podatkovni trezor. Za varno shranjevanje jezikovnih paketov brez povezave smo določili pomnilniške čipe eMMC s kapaciteto od 16 do 64 GB. Stroga arhitektura varnega zagona zagotavlja, da zlonamerna programska oprema med zagonom ne more ugrabiti strojne opreme.
Šifrirana komunikacija v oblaku ščiti izgovorjene besede med njihovo potjo do jezikovnih strežnikov. Poslovni uporabniki razpravljajo o zelo občutljivih finančnih podatkih. Zato je za zavarovanje poslovnih pogodb obvezen strog mehanizem varstva zasebnosti uporabniških podatkov.
4. Integracija umetne inteligence in prevajalskega mehanizma
4.1 Mehanizem za pretvorbo govora v besedilo (ASR)
Nato se morajo zvočni valovi spremeniti v digitalno besedilo. Uvedli smo mehanizem za samodejno prepoznavanje govora z globokim učenjem. Usposabljanje za prilagajanje naglasov je skozi model potisnilo na tisoče ur raznolikih govornih podatkov.
Pretočni ASR cevovod v realnem času potiska besedilo na zaslon črko za črko, medtem ko oseba govori. To preprosto pomeni, da uporabnik vidi takojšnjo vizualno povratno informacijo, še preden se zvočni prevod sploh začne.
4.2 Nevronsko strojno prevajanje (NMT)
Po tem se besedilo preklopi v tuji jezik. Uporabili smo sodobno arhitekturo modela, ki temelji na Transformerju. Optimizacija sklepanja na napravi zahteva spreminjanje matematike, tako da deluje gladko na mobilnem čipu in ne na namizni grafični kartici.
Razvili smo hibridni sistem za prevajanje na robu omrežja in v oblaku. Če signal 4G pade, se programska oprema brezhibno vrne na lokalni slovar brez povezave. Kot vedno, uporabniška izkušnja ostane neprekinjena.
4.3 Pretvorba besedila v govor (TTS)
Kmalu bo moral stroj prevedene besede izgovoriti na glas. Sinteza naravnega glasu je kompleksna umetnost. Večjezični glasovni paketi zahtevajo akustične modele za natančne zvoke jezika in ustnic. Uporabnik mora napravo upravljati.
Spremeniti bi morali hitrost in ton govora. Starejši uporabnik bo morda potreboval počasnejšo kadenco, medtem ko hiter poslovni direktor zahteva hitro predvajanje zvoka.
4.4 Optimizacija modela umetne inteligence
Kako stlačiš ogromne jezikovne možgane v žepno napravo? Uporabljaš kvantizacijo. 32-bitne računske operacije s plavajočo vejico smo pretvorili v formate INT8 ali FP16. Obrezovanje modelov odstrani nevronske poti, ki se redko aktivirajo. Izvedli smo izčrpno primerjalno testiranje latence. Raje bi izpustil manjši slovnični delec, kot pa da bi uporabnika prisilil, da čaka tri sekunde, da stroj oblikuje odgovor.
5. Inženiring tiskanih vezij in strojne opreme
5.1 Večplastna zasnova tiskanih vezij
Tiskano vezje nato usmerja vse te obsežne podatke. Zasnovali smo gosto 6- do 8-plastno visokohitrostno tiskano vezje. Optimizacija postavitve RF zagotavlja, da se signali WiFi in mobilnih signalov ne križajo in medsebojno ne izničijo.
Zaščita pred elektromagnetnimi motnjami za avdio vezja je neizogibna. Če radiofrekvenčna energija pronica v avdio sledi, bo zvočnik oddajal grozen brenčeč zvok. Strog nadzor impedance za brezžične module zagotavlja maksimalno integriteto signala.
5.2 Zasnova upravljanja porabe energije
Kasneje se lotite uganke z napajanjem. Nabavili smo litij-ionsko baterijo po meri z zmogljivostjo od 2000 do 3000 mAh. Namensko integrirano vezje za upravljanje napajanja izvaja inteligentno načrtovanje napajanja. Izklopi napajalne tirnice do nevronske procesne enote (NPU) v natanko milisekundi, ko se prevajanje zaključi.
Hitro polnjenje USB-C je sodoben standard, ki smo ga zlahka integrirali. Zaradi globokega načina pripravljenosti z nizko porabo energije lahko prenosni prevajalski stroj v nahrbtniku stoji en teden in se še vedno takoj vklopi.
5.3 Zasnova RF in anten
Tudi namestitev anten v majhno napravo je temna umetnost. Notranjo večpasovno anteno smo napeljali vzdolž plastičnega roba ohišja. Upoštevanje skladnosti s SAR je velika pravna ovira.
Radijski valovi ne smejo prodreti v človeško tkivo nad strogimi zakonskimi omejitvami. Testiranje in uglaševanje moči signala sta potekala v izolirani anehoični komori, da bi natančno izmerili, kako se radijski valovi širijo navzven.
6. Strojno in industrijsko oblikovanje
6.1 Inženiring kompaktnih ohišij
Kljub vsemu navedenemu mora biti fizični predmet v roki vrhunski. Zastavili smo si strogo ciljno težo, manjšo od 150 gramov. Okvir iz aluminijeve zlitine ali lupina iz utrjenega PC in ABS zagotavlja strukturno trdnost. Pokrov zaslona iz utrjenega stekla, odporen proti praskam, zagotavlja, da zaslon preživi drsenje v žepu, polnem kovancev in kovinskih ključev.
6.2 Oblikovanje uporabniškega vmesnika, osredotočeno na človeka
Poleg tega mora biti navigacija po vmesniku popolnoma intuitivna. Oster 3- do 4-palčni IPS zaslon na dotik deluje kot primarni vizualni vmesnik. Vendar pa pogled na zaslon med pogovorom prekine očesni stik. Zato smo na stranski okvir dodali zelo otipljive fizične bližnjice. Namenski način takojšnjega prevajanja z enim dotikom uporabniku omogoča, da pritisne gumb, govori in ga spusti, da sproži takojšen prevod, ne da bi sploh pogledal na zaslon.
6.3 Toplotno upravljanje
Posledično vsa ta obdelava ustvarja izjemno toploto. Edina možnost je pasivno odvajanje toplote, saj bi motorizirani ventilatorji uničili zvočne posnetke. Na zadnji del glavnega procesorja smo položili notranji grafitni razpršilnik toplote. Ta odvaja toplotno obremenitev stran od ene same vroče točke in jo porazdeli po celotnem zadnjem ohišju. Validacija toplotne simulacije v programski opremi je zagotovila, da temperatura površine nikoli ne preseže ugodnih meja za človeško kožo.
7. Razvoj programske opreme
7.1 Oblikovanje sistema uporabniškega vmesnika/uporabe uporabniške izkušnje
Nato strojno opremo obdajajo plasti operacijskega sistema. Čist večjezični vmesnik omogoča uporabnikom z vsega sveta enostavno navigacijo po nastavitvah. Zasnovali smo posebne profile, in sicer potovalni in poslovni način. Potovalni način daje prednost uličnemu besedišču in hitri izmenjavi.
Poslovni način preklopi strojno opremo za nevronsko strojno prevajanje, da se osredotoči na formalno slovnico in industrijski žargon. Shranjevanje zgodovine pogovorov uporabnikom omogoča pomikanje nazaj in branje prepisov prejšnjih interakcij.
7.2 Integracija z oblakom
In naprava se mora sčasoma razvijati. Jezikovna baza podatkov v oblaku dnevno posodablja besedišče v vseh napravah. Posodobitve vdelane programske opreme OTA tiho odpravljajo napake v programski opremi v ozadju, medtem ko uporabnik spi. Posodobitve modelov umetne inteligence redno izboljšujejo programsko opremo za prepoznavanje naglasov, zaradi česar je večjezični prevajalski sistem pametnejši, dlje ko ga imate v lasti.
7.3 Zasebnost in varnost podatkov
Poleg tega pravni okviri narekujejo stroge arhitekture programske opreme. Skladnost z GDPR je obvezna za vse enote, ki se prodajajo na trgu EU. Šifriran prenos glasu od konca do konca tesno zaklene zvočne pakete. Tudi če heker prestreže signal WiFi, ne more dekodirati zvoka. Možnost varnega shranjevanja v oblaku uporabnikom omogoča varnostno kopiranje poslovnih pogajanj na varen strežnik.
8. Testiranje in validacija
8.1 Akustično testiranje
Kako pogosto strojno opremo obremenite do meje zmogljivosti? Izdelali smo posebne testne platforme. Kalibracija občutljivosti mikrofona zagotavlja, da vsi štirje mikrofoni slišijo zvok na popolnoma enaki ravni.
Preverjanje odpravljanja odmeva sili napravo, da posluša glasno glasbo v ozadju, medtem ko oseba govori; umetna inteligenca mora glasbo v celoti filtrirati. Primerjalno testiranje zatiranja šuma napravo oceni v primerjavi z nadzorovanimi zvočnimi datotekami vlakov podzemne železnice in reaktivnih motorjev.
8.2 Testiranje delovanja
Čez nekaj časa morate izmeriti dejanske omejitve hitrosti. Orodja za merjenje zakasnitve prevajanja dokazujejo, da je vrzel med koncem govora in pojavom besedila minimalna. Testiranje vzdržljivosti baterije izvaja avtomatizirane skripte, ki napravo silijo, da neprekinjeno posluša in govori, dokler se baterija ne izprazni. Primerjalno testiranje natančnosti z umetno inteligenco uporablja knjižnico kompleksnih stavkov z več stavki, da preveri, ali stroj razume globok kontekst ali samo slepo zamenja posamezne besede.
8.3 Okoljsko testiranje
To se bo zgodilo v resničnem svetu: turistu bo naprava padla. Test padca z višine 1.0 do 1.2 metra na trden beton meri strukturno celovitost plastike in stekla. Validacija temperaturnega območja namesti enoto v pečico in zamrzovalnik, da se zagotovi varno delovanje baterije v ekstremnih podnebjih. Testiranje vibracij simulira močno tresenje globalne ladijske logistike.
9. Certificiranje in skladnost
Drugič, proizvajalec originalne opreme za pametne jezikovne prevajalnike mora opraviti kup papirjev. Elektronike ne morete zakonito prodajati, ne da bi opravili predpise regulativnih odborov. Oznaka CE omogoča prodajo naprave po vsej Evropi. Žig FCC jo odobri za ameriški trg. Dokumentacija RoHS dokazuje, da je tovarna uporabila okolju prijazne spajke in plastiko.
Strogo testiranje SAR dokazuje, da so radijske frekvence varne v bližini človeškega telesa. Certifikat Bluetooth SIG nam daje zakonsko dovoljenje za uporabo protokola Bluetooth. Nenazadnje je testiranje PTCRB absolutna zahteva, če se mobilni modem povezuje s severnoameriškimi telekomunikacijskimi omrežji.
10. Proizvodnja in množična proizvodnja
10.1 Optimizacija DFM
Tretjič, izdelava enega popolnega prototipa je enostavna; izdelava milijona je neverjetno težka. Optimizacija načrtovanja za proizvodnjo spremeni postavitev tiskanih vezij, tako da jih lahko robotske montažne linije izdelajo hitreje. Upravljanje življenjskega cikla komponent zagotavlja, da nabavni oddelek ne kupuje mikročipov, ki jih proizvajalec namerava ukiniti naslednje leto.
Alternativna strategija komponent navaja rezervne dobavitelje za vsak posamezen upor in kondenzator. Razvoj testnega pripravka omogoča tovarniškim delavcem, da matično ploščo vstavijo v testno postajo in v petih sekundah preverijo vse funkcije.
10.2 SMT in montaža
Naslednja faza se začne v tovarni. Proizvodnja SMT z visoko gostoto uporablja ogromne robotske roke za nanašanje mikroskopskih delov na spajkalno pasto. Na montažni liniji poteka avtomatiziran postopek kalibracije zvoka, kjer robotski zvočnik predvaja ton, mikrofon naprave pa ga posname, da se dokaže delovanje.
Končno programiranje sistema zapiše najnovejšo sliko programske opreme neposredno na pomnilniški čip tik preden enota pride v maloprodajno škatlo.
10.3 Nadzor kakovosti
Upoštevajte, da si vedno želite popolno stopnjo izkoristka. Politika 100-odstotnega funkcionalnega testiranja pomeni, da človek ali robot komunicira z vsako posamezno enoto. Preverjanje zvočnega posnetka prisili delavca, da govori v napravo in preveri kakovost predvajanja. Hiter pregled brezžičnega delovanja poveže napravo s tovarniškim usmerjevalnikom, da se dokaže, da so antene varno pritrjene na glavno ploščo.
11. Rezultati projekta
11.1 Tehnični dosežki
Strokovnjaki so po zaključku projekta izmerili naslednje podatke. Zakasnitev prevajanja je bila dosledno pod 1.5 sekunde, tudi v šibkih omrežjih 4G. V glavnih svetovnih jezikih smo dosegli več kot 95-odstotno stopnjo natančnosti. Strategija optimizacije porabe energije je omogočila 12-urno tipično uporabo, kar je popotniku omogočilo enostavno navigacijo po tujem mestu od zore do mraka, ne da bi potreboval polnilnik.
11.2 Tržna uspešnost
Torej, poleg tehničnih zmag, kako se je prodajala? Naprava je bila uspešno predstavljena na glavnih maloprodajnih kanalih v Evropi in Aziji. Blagovna znamka jo je pozicionirala kot vrhunsko napravo za prevajanje z umetno inteligenco srednjega do visokega cenovnega razreda. Ker smo arhitekturo zgradili od temeljev navzgor, je celotna platforma zdaj pripravljena na globoko prilagajanje blagovni znamki in deluje kot zelo donosna rešitev za proizvajalce originalne opreme (OEM) in odjemalce za druge potencialne stranke.
12. Prihodnja širitev
12.1 Integracija klepeta z umetno inteligenco
Kaj sledi za platformo? Načrtujemo integracijo pogovornega pomočnika z umetno inteligenco v slogu GPT. Uporabniki bodo napravo prosili za priporočila restavracij ali zgodovinska dejstva o mestu, ki ga obiskujejo. Dolgo pričakovana funkcija povzetka poslovnih sestankov bo napravi za prevajanje z umetno inteligenco omogočila, da se postavi na sredino konferenčne mize, posname uro večjezičnih pogajanj in natisne jedrnat, označen povzetek sestanka.
12.2 Ekosistem med napravami
Medtem se morajo samostojne naprave pogovarjati s širšim ekosistemom. Sinhronizacija mobilnih aplikacij bo zgodovino pogovorov in shranjene sezname besedišča prenašala neposredno na pametni telefon. Integracija nosljivih naprav bo prevedeno besedilo prenašala neposredno na zaslon pametne ure. Pametno združevanje slušalk bo omogočilo, da dve osebi nosita eno slušalko in poslušata prevedeni glas druge osebe, ki jima ga šepeta neposredno v uho, v popolni zasebnosti.
zaključek
Izdelava vrhunske naprave za prepoznavanje govora z umetno inteligenco zahteva izjemno disciplino pri načrtovanju strojne opreme in optimizaciji programske opreme. Uravnotežiti morate zahtevne računalniške potrebe nevronskih mrež s strogimi omejitvami kemije baterij. Z izbiro namenskega proizvajalca prevajalskih naprav z umetno inteligenco blagovne znamke lansirajo zmogljiva in zanesljiva orodja. Ta načrt lahko nato uporabite za prevlado na svetovnem trgu večjezičnih prevajalskih sistemov.
