Инжењери са Универзитета Пен развили су први програмабилни чип способан да обучава нелинеарне неуронске мреже користећи светлост — велико научно достигнуће које би могло значајно убрзати обуку AI система, смањити потрошњу енергије и евентуално довести до потпуно светлосно покретаних рачунара.
За разлику од конвенционалних AI чипова који се ослањају на електричну енергију, нови чип је фотонски, што значи да извршава прорачуне помоћу снопова светлости. Истраживање објављено у часопису Nature Photonics показује како чип манипулише светлошћу да би извршио сложене нелинеарне операције, кључне за савремену вештачку интелигенцију.
„Нелинеарне функције су од суштинског значаја за обуку дубоких неуронских мрежа“, објашњава професор Лианг Фенг, професор на Одсеку за науку о материјалима и електротехници, и водећи аутор студије. „Наш циљ је био да то омогућимо у фотоници — по први пут.“
Недостајући елемент фотонске ВИ
Већина AI система данас зависи од неуронских мрежа — софтвера који опонаша биолошко неуронско ткиво. Баш као што се неурони повезују у живим бићима како би омогућили размишљање, неуронске мреже повезују слојеве једноставних јединица — „чворова“ — омогућавајући AI системима да обављају сложене задатке.
У оба случаја, ови чворови се активирају тек када се достигне одређени праг — процес који је по природи нелинеаран и омогућава да мале промене на улазу доведу до већих и сложенијих промена на излазу.
Без те нелинеарности, додавање нових слојева не би имало ефекта — систем би се свео на једноставну линеарну операцију у којој се улази само сабирају, без икаквог стварног учења.
Иако су многи истраживачки тимови, укључујући и тимове са Пен инжењерског факултета, већ развили светлосне чипове способне да обрађују линеарне математичке операције, нико до сада није успео да представи нелинеарне функције користећи искључиво светлост — све до сада.
„Без нелинеарних функција, фотонски чипови не могу да обучавају дубоке мреже нити да извршавају заиста интелигентне задатке“, каже Тианвеи Ву, постдокторанд на Одсеку за електротехнику и системско инжењерство, и први аутор рада.
Обликовање светлости светлошћу
Пробој тима почиње са посебним полупроводничким материјалом који реагује на светлост. Када сноп „сигналне“ светлости (који носи улазне податке) прође кроз материјал, други сноп — „пумпајућа“ светлост — обасјава материјал одозго и мења начин на који он реагује.
Променом облика и интензитета тог пумпајућег снопа, тим може контролисати како се сигнална светлост апсорбује, преноси или појачава, у зависности од њеног интензитета и понашања материјала. На тај начин се чип „програмира“ да извршава различите нелинеарне функције.
„Не мењамо структуру чипа“, истиче Фенг. „Користимо саму светлост да створимо обрасце унутар материјала, који затим мењају начин на који се светлост кроз њега креће.“
Резултат је реконфигурабилан систем који може изразити широк спектар математичких функција у зависности од обрасца пумпајуће светлости. Та флексибилност омогућава чипу да учи у реалном времену, прилагођавајући своје понашање на основу повратних информација са излаза.
Обучавање брзином светлости
Да би тестирали потенцијал свог чипа, тим га је користио за решавање стандардних ВИ задатака. Платформа је постигла преко 97% тачности у задатку класификације са нелинеарним границама одлучивања, као и преко 96% на добро познатом Iris скупу података — једном од класичних тестова у машинском учењу.
У оба случаја, фотонски чип је постигао резултате једнаке или боље од традиционалних дигиталних неуронских мрежа, али са мање операција и без потребе за енергетски захтевним електронским компонентама.
У једном запаженом резултату, само четири нелинеарне оптичке везе на чипу биле су еквивалентне 20 линеарних електронских веза са фиксним нелинеарним активационим функцијама у традиционалном моделу. Та ефикасност указује на потенцијал технологије када се скалира.
За разлику од претходних фотонских система, који су били фиксни након производње, чип са Пен универзитета почиње као празно платно. Пумпајућа светлост делује као четкица, цртајући програмске инструкције унутар материјала.
„Ово је прави доказ концепта за теренски-програмабилни фотонски рачунар“, каже Фенг. „Ово је корак ка будућности у којој ћемо обучавати ВИ брзином светлости.“
Будући правци развоја
Иако се тренутни рад фокусира на полиноме — флексибилну породицу функција често коришћену у машинском учењу — тим верује да њихов приступ може омогућити и још моћније операције у будућности, као што су експоненцијалне или инверзне функције. То би отворило врата фотонским системима способним да се носе са великим задацима, попут обуке великих језичких модела.
Заменом електронике која генерише топлоту са нискоенергетским оптичким компонентама, ова платформа обећава значајно смањење потрошње енергије у AI дата центрима, што би могло трансформисати економију машинског учења.
„Ово би могао бити почетак фотонске рачунарске ере као озбиљне алтернативе електроници“, закључује Фенг. „Пен је родно место ЕНИАК-а, првог дигиталног рачунара на свету — овај чип би могао бити први прави корак ка фотонском ЕНИАК-у.“
