Inženjeri sa Univerziteta Pen razvili su prvi programabilni čip sposoban da obučava nelinearne neuronske mreže koristeći svetlost — veliko naučno dostignuće koje bi moglo značajno ubrzati obuku AI sistema, smanjiti potrošnju energije i eventualno dovesti do potpuno svetlosno pokretanih računara.
Za razliku od konvencionalnih AI čipova koji se oslanjaju na električnu energiju, novi čip je fotonski, što znači da izvršava proračune pomoću snopova svetlosti. Istraživanje objavljeno u časopisu Nature Photonics pokazuje kako čip manipuliše svetlošću da bi izvršio složene nelinearne operacije, ključne za savremenu veštačku inteligenciju.
„Nelinearne funkcije su od suštinskog značaja za obuku dubokih neuronskih mreža“, objašnjava profesor Liang Feng, profesor na Odseku za nauku o materijalima i elektrotehnici, i vodeći autor studije. „Naš cilj je bio da to omogućimo u fotonici — po prvi put.“
Nedostajući element fotonske VI
Većina AI sistema danas zavisi od neuronskih mreža — softvera koji oponaša biološko neuronsko tkivo. Baš kao što se neuroni povezuju u živim bićima kako bi omogućili razmišljanje, neuronske mreže povezuju slojeve jednostavnih jedinica — „čvorova“ — omogućavajući AI sistemima da obavljaju složene zadatke.
U oba slučaja, ovi čvorovi se aktiviraju tek kada se dostigne određeni prag — proces koji je po prirodi nelinearan i omogućava da male promene na ulazu dovedu do većih i složenijih promena na izlazu.
Bez te nelinearnosti, dodavanje novih slojeva ne bi imalo efekta — sistem bi se sveo na jednostavnu linearnu operaciju u kojoj se ulazi samo sabiraju, bez ikakvog stvarnog učenja.
Iako su mnogi istraživački timovi, uključujući i timove sa Pen inženjerskog fakulteta, već razvili svetlosne čipove sposobne da obrađuju linearne matematičke operacije, niko do sada nije uspeo da predstavi nelinearne funkcije koristeći isključivo svetlost — sve do sada.
„Bez nelinearnih funkcija, fotonski čipovi ne mogu da obučavaju duboke mreže niti da izvršavaju zaista inteligentne zadatke“, kaže Tianvei Vu, postdoktorand na Odseku za elektrotehniku i sistemsko inženjerstvo, i prvi autor rada.
Oblikovanje svetlosti svetlošću
Proboj tima počinje sa posebnim poluprovodničkim materijalom koji reaguje na svetlost. Kada snop „signalne“ svetlosti (koji nosi ulazne podatke) prođe kroz materijal, drugi snop — „pumpajuća“ svetlost — obasjava materijal odozgo i menja način na koji on reaguje.
Promenom oblika i intenziteta tog pumpajućeg snopa, tim može kontrolisati kako se signalna svetlost apsorbuje, prenosi ili pojačava, u zavisnosti od njenog intenziteta i ponašanja materijala. Na taj način se čip „programira“ da izvršava različite nelinearne funkcije.
„Ne menjamo strukturu čipa“, ističe Feng. „Koristimo samu svetlost da stvorimo obrasce unutar materijala, koji zatim menjaju način na koji se svetlost kroz njega kreće.“
Rezultat je rekonfigurabilan sistem koji može izraziti širok spektar matematičkih funkcija u zavisnosti od obrasca pumpajuće svetlosti. Ta fleksibilnost omogućava čipu da uči u realnom vremenu, prilagođavajući svoje ponašanje na osnovu povratnih informacija sa izlaza.
Obučavanje brzinom svetlosti
Da bi testirali potencijal svog čipa, tim ga je koristio za rešavanje standardnih VI zadataka. Platforma je postigla preko 97% tačnosti u zadatku klasifikacije sa nelinearnim granicama odlučivanja, kao i preko 96% na dobro poznatom Iris skupu podataka — jednom od klasičnih testova u mašinskom učenju.
U oba slučaja, fotonski čip je postigao rezultate jednake ili bolje od tradicionalnih digitalnih neuronskih mreža, ali sa manje operacija i bez potrebe za energetski zahtevnim elektronskim komponentama.
U jednom zapaženom rezultatu, samo četiri nelinearne optičke veze na čipu bile su ekvivalentne 20 linearnih elektronskih veza sa fiksnim nelinearnim aktivacionim funkcijama u tradicionalnom modelu. Ta efikasnost ukazuje na potencijal tehnologije kada se skalira.
Za razliku od prethodnih fotonskih sistema, koji su bili fiksni nakon proizvodnje, čip sa Pen univerziteta počinje kao prazno platno. Pumpajuća svetlost deluje kao četkica, crtajući programske instrukcije unutar materijala.
„Ovo je pravi dokaz koncepta za terenski-programabilni fotonski računar“, kaže Feng. „Ovo je korak ka budućnosti u kojoj ćemo obučavati VI brzinom svetlosti.“
Budući pravci razvoja
Iako se trenutni rad fokusira na polinome — fleksibilnu porodicu funkcija često korišćenu u mašinskom učenju — tim veruje da njihov pristup može omogućiti i još moćnije operacije u budućnosti, kao što su eksponencijalne ili inverzne funkcije. To bi otvorilo vrata fotonskim sistemima sposobnim da se nose sa velikim zadacima, poput obuke velikih jezičkih modela.
Zamenom elektronike koja generiše toplotu sa niskoenergetskim optičkim komponentama, ova platforma obećava značajno smanjenje potrošnje energije u AI data centrima, što bi moglo transformisati ekonomiju mašinskog učenja.
„Ovo bi mogao biti početak fotonske računarske ere kao ozbiljne alternative elektronici“, zaključuje Feng. „Pen je rodno mesto ENIAK-a, prvog digitalnog računara na svetu — ovaj čip bi mogao biti prvi pravi korak ka fotonskom ENIAK-u.“
