У канцеларији једног стартапа у Њујорку, програм вештачке интелигенције у реалном времену ствара читав свет. Док се крећем кроз видео-игру — пролазим кроз собе и сусрећем друге ликове — сваки кадар генерише се тренутно у дата центру у Њу Џерзију. Али овај изазов није осмишљен за људе. У једном тренутку застајем, а контролу преузима аутономни АИ агент.
„То је вештачка интелигенција која игра у уму друге вештачке интелигенције“, каже Адам Џели, суоснивач компаније General Intuition.
Ова компанија верује да ће управо овакви системи — у којима АИ агенти уче делујући у симулираним световима — једног дана надмашити велике језичке моделе (LLM), данас доминантну технологију која стоји иза четботова као што су ChatGPT, Claude, Gemini и Grok.
Деценија вере у правило „веће је боље“
Током последње деценије, у индустрији је владало уверење да су већи језички модели увек бољи. То је био закључак једног веома утицајног научног рада из 2020. године, који је показао да перформансе модела настављају да расту све док се повећавају величина модела, количина података за обуку или рачунарска снага коришћена током тренинга.
„Били смо веома изненађени колико су ти трендови били доследни“, каже Џаред Каплан, теоријски физичар са Универзитета Џонс Хопкинс и водећи аутор студије.
Такозвани „закони скалирања“ важили су кроз више редова величине, а порука за индустрију била је једноставна: растите по сваку цену.
Од објављивања тог рада, компаније су управо то и радиле. Данас троше стотине милијарди долара годишње како би изградиле моделе са стотинама милијарди, па чак и билионима параметара, обучене на билионима речи и слика прикупљених са интернета.
Процењује се да су најновији GPT модели компаније OpenAI неколико пута већи од њеног највећег модела из 2020. године и да су обучени на десет пута већој количини података.
Недавно је индустрија добила још један механизам за скалирање: такозвани test-time compute. Уместо да се модел додатно обучава, омогућава му се да дуже „размишља“ пре него што одговори, чиме се побољшавају резултати без неопходног повећања величине модела.
Импресивни резултати модерних LLM модела
Резултати су несумњиво импресивни.
Велики језички модели данас могу да положе правосудне испите за адвокате и лиценцне испите за лекаре. На појединим тестовима постижу резултате упоредиве са најбољим средњошколцима на Међународној математичкој олимпијади.
Способни су да пишу поезију коју многи читаоци сматрају лепшом од људске, док врхунски програмери све чешће препуштају већину кодирања управо овим системима.
Каплан, који је након тог рада постао један од оснивача компаније Anthropic и данас обавља функцију главног научног директора, сматра да велики језички модели и даље имају огроман простор за напредак.
„Ако не видите јасне законе скалирања, онда нешто радите погрешно“, каже он.
Према његовом мишљењу, перформансе модела и даље прате обрасце које је описао још 2020. године.
Да ли се приближавамо границама скалирања?
Међутим, све је више истраживача који сматрају да овај приступ почиње да наилази на озбиљна ограничења.
Капланов рад је описао такозвани степенски закон (power law), што значи да сваки нови напредак захтева несразмерно веће ресурсе.
Истовремено, компаније полако остају без квалитетних података за обуку. Једна студија из 2024. године проценила је да би залихе висококвалитетних јавних текстова могле бити исцрпљене већ у наредних неколико година.
Проблем представља и рачунарска инфраструктура. Иако чипови и алгоритми постају ефикаснији, њихов напредак није довољно брз да испрати експлозиван раст потреба.
Дата центри који су тренутно у изградњи трошиће гигавате електричне енергије, што би могло озбиљно да оптерети електроенергетске системе широм света.
Највећа слабост: АИ не живи у свету који описује
Постоји и дубљи проблем.
Без обзира на то што су научили да „размишљају“ или да обрађују слике поред текста, велики језички модели су и даље у суштини системи који предвиђају следећи токен — мали део текста или визуелне информације у низу података.
Они најпре уче статистичке обрасце из огромних скупова података, а затим се додатно прилагођавају како би давали корисније и поузданије одговоре.
Међутим, они не доживљавају свет који описују.
Немају могућност да тестирају хипотезе, истражују окружење или непосредно искусе последице својих поступака. Узрочно-последичне везе уче посредно, преко текстова које су написали људи.
То је довољно да генеришу уверљива објашњења или логичне планове, али често није довољно када успех зависи од стварног разумевања физичког света.
На пример, када се од модела затражи да објасни како правилно наслагати свакодневне предмете један на други, они понекад праве изненађујуће грешке које откривају недостатак здравог разума.
Зашто је то проблем?
Ови недостаци имају озбиљне последице у стварном животу.
Мало ко би данас без резерве поверио великом језичком моделу улогу дечјег психолога или полицијског службеника.
„Они постају све бољи и бољи, али не можете само да наставите да додајете податке и очекујете да ће се магично побољшавати“, каже Џејн Ванг, истраживач у компанији Google DeepMind.
Слично размишља и Јакуб Пахоцки, главни научник компаније OpenAI.
„Много тога још увек може да се постигне кроз текстуалну интелигенцију“, каже он. „Али је прилично јасно да људи не размишљају искључиво речима.“
Од кућне мачке до вештачке опште интелигенције
Многи истраживачи данас су уверени да ће за стварање вештачке опште интелигенције (AGI) бити потребно много више од савладавања језика и слика.
Будући АИ системи мораће да разумеју простор, узрочност и последице својих поступака — посебно ако треба да управљају хуманоидним роботима, воде фабрике или истражују друге планете.
Мало ко је ту идеју заступао гласније од пионира вештачке интелигенције Јана Лекуна.
„Волим да се нашалим да најпаметнији системи које данас имамо нису паметнији од кућне мачке“, каже он.
Иако мачка не уме да програмира као велики језички модел, она је способна да преживи ослањајући се на сопствену сналажљивост и разумевање света.
Лекун сматра да је идеја да ће једноставно повећавање величине језичких модела довести до AGI-ја потпуно погрешна.
„То је као да кажете да ћете стићи у орбиту тако што ћете наставити да увећавате авионе. У Силицијумској долини кружи веома снажна заблуда да је то могуће“, упозорава он.
Нова генерација „светских модела“
Лекун је напустио једну од водећих позиција у компанији Meta како би основао једну од све бројнијих лабораторија које развијају такозване „светске моделе“ (world models).
Реч је о системима који покушавају да изграде унутрашњу представу о томе како свет функционише и да омогуће агентима да уче и планирају на основу те представе.
Истраживачи се надају да ће, имитирајући начин на који људски мозак учи, овакви системи једног дана стећи способности које данашњим моделима недостају.
Како АИ види Њујорк?
Разлике између људи и великих језичких модела нису само питање количине знања.
У студији из 2024. године, истраживачи су обучили језичке моделе на низовима упутстава из вожњи њујоршких таксија.
Модели су затим били способни да поуздано генеришу нове руте, што је указивало да су на неки начин створили мапу града.
Међутим, када су научници завирили у њихове унутрашње репрезентације, нису пронашли јасну мрежу улица и авенија.
Уместо тога, открили су хаотичан сплет међусобно испреплетаних путева.
„Они су толико страни и толико неслични људском начину размишљања“, каже Бренден Лејк, когнитивни научник са Универзитета Принстон.
Зашто деца уче боље од АИ система?
Лејк је спроводио експерименте у којима је вештачку интелигенцију обучавао на стотинама сати снимака са камера постављених на главама мале деце.
Циљ је био да се види шта систем може да научи из истог искуства кроз које пролази дете.
Људска деца усвајају језик користећи запањујуће мало података у поређењу са великим језичким моделима — милионе речи уместо билиона.
Али још важнија је једна друга разлика.
Деца прву годину или две живота проводе истражујући свет пре него што уопште почну да говоре. Додирују предмете, крећу се кроз простор, посматрају реакције окружења и уче из последица сопствених поступака.
LLM модели, са друге стране, почињу управо од језика.
„Вештачка интелигенција је развој окренула наглавачке“, сматра Лејк.
Радозналост као кључ интелигенције
Према његовом мишљењу, људска интелигенција произилази из радозналости и жеље за експериментисањем.
Дете које научи да прескаче може касније да прескаче до врата, назад до собе или чак док пева песму.
Оно комбинује једноставне концепте и примењује их у новим ситуацијама.
Језички модели такође могу да импровизују, али често на чудан начин.
„То је фрустрирајућа мешавина интелигенције и бизарних неуспеха“, каже Лејк.
Он верује да су модели ограничени управо зато што немају тело и директно искуство света.
„Да би разумела реч онако како је разуме човек, вештачка интелигенција мора бити укорењена у стварним предметима и стварном окружењу.“
Агенти који уче кроз искуство
Узимајући овакве идеје озбиљно, многе лабораторије и компаније покушавају да створе системе који уче више као људи, а мање као четботови.
Истраживачи углавном прате два приступа.
Први подразумева да агенти уче методом покушаја и грешака у симулираним световима, а затим стечено знање преносе у стварни свет.
Други приступ подразумева изградњу предиктивних модела света које агенти носе са собом и користе за интерно тестирање својих будућих поступака.
Једноставније речено, један приступ учи кроз директно искуство, а други кроз унутрашње „замишљање“ будућности.
Google DeepMind и светови који настају из ничега
У оквиру првог приступа, истраживачи компаније Google DeepMind развили су серију светских модела под називом Genie.
Ови системи могу да генеришу тродимензионална окружења кроз која се може кретати, користећи само текстуалне упите или видео-снимке као полазиште.
Практично, они стварају читаве видео-игре на захтев.
Такви светови постају терен за обуку агената попут система SIMA (Scalable Instructable Multiworld Agent), који је заснован на моделу Gemini.
Тренинг у великом броју различитих окружења омогућава агентима да се снађу и у непознатим световима.
Они могу да истражују околину, препознају необичне предмете и покушају да закључе од чега су направљени.
Од видео-игара до научних лабораторија
Према речима Шломија Фрухтера из Google DeepMind-а, овакви агенти могли би да имају много ширу примену од игара.
Једног дана могли би да функционишу као научни асистенти који самостално делују у лабораторијама, прилагођавајући се непрестано променљивом окружењу.
„Ако АИ агент није способан да физички извршава задатке, онда су његове могућности веома ограничене“, каже Фрухтер.
Nvidia и роботи који уче у виртуелном свету
Компанија Nvidia већ покушава да ову идеју пренесе у физички свет.
Уместо да роботе обучава директно у стварном окружењу, Nvidia их прво тренира у сложеним симулацијама. Тек након тога стечено знање преноси се на стварне машине које могу да раде у складиштима, фабрикама и другим окружењима у којима успех зависи од много више од апстрактног размишљања.
Роботи морају да се крећу, прилагођавају и реагују на непредвидиве ситуације.
Њихови GR00T агенти користе снимке камера и језичка упутства како би генерисали конкретне акције које робот треба да изврши.
У демонстрацијама које је Nvidia приказала, роботи вођени овим системом успевају да ставе кромпир у микроталасну пећницу и затворе врата.
За човека је то безначајан задатак, али за робота он захтева прецизну координацију, разумевање простора и планирање више корака унапред.
DreamZero – покушај да се предвиди будућност
Један од Nvidia светских модела носи назив DreamZero.
Његов задатак је да предвиди како ће се свет променити након одређене акције.
Ако робот помери предмет или отвори врата, модел покушава да предвиди све последице тог потеза пре него што до њега уопште дође.
Према Јуку Џуу, професору рачунарских наука са Универзитета Тексас у Остину, овакав приступ омогућава роботима да се лакше прилагођавају новим задацима и непознатим окружењима.
Зашто је физички свет тежи од језика
Ипак, док велики језички модели решавају задатке са математичких олимпијада и пишу софтвер, агенти засновани на светским моделима још увек имају проблема са једноставним стварима попут хватања шоље за кафу или сналажења у једноставним виртуелним окружењима.
Према речима Пима де Витеа, суоснивача компаније General Intuition, разлог је једноставан.
Језик представља веома компримован опис стварности.
Текст претвара четири димензије реалног света у једнодимензионални низ речи.
Стварни свет је далеко сложенији.
Он је бучан, континуалан и непрестано се мења.
Роботи морају да се носе са променама осветљења, померањем предмета и последицама сопствених поступака.
Недостатак података за нову генерацију АИ
Постоји још један велики проблем.
Светски модели захтевају потпуно другачије податке од језичких модела.
Уместо текстова са интернета, потребни су им примери стварних акција и њихових последица.
То могу бити роботи који померају предмете, људи који се крећу кроз простор или играчи који истражују виртуелне светове.
Такви подаци су далеко ређи и скупљи од текста.
Истраживачи све више користе огромне количине видео-снимака са YouTube-а, али гледање није исто што и деловање.
Да би разумели свет, системи морају и сами да делују у њему.
У трци ка AGI-ју, јефтини и лако доступни текстуални подаци за сада дају предност великим језичким моделима.
Лекунов велики улог: милијарда долара за нову архитектуру
Јан Лекун верује да је вредно ризика.
Док је радио у компанији Meta као главни научник за вештачку интелигенцију, све више је постајао незадовољан усмерењем индустрије ка великим језичким моделима.
„Схватио сам да бих могао практично да пуцнем прстима и прикупим милијарду долара“, каже он.
И управо то је урадио.
У марту је представио нову компанију Advanced Machine Intelligence (AMI) Labs, која је обезбедила нешто више од милијарду долара инвестиција.
За разлику од система који уче кроз деловање у симулацијама, AMI се ослања на други приступ – предиктивне светске моделе које агент носи у себи.
Шта је JEPA?
Основу технологије AMI Labs-а чини породица алгоритама названа Joint-Embedding Predictive Architecture (JEPA).
За разлику од многих светских модела који покушавају да предвиде сваки пиксел будућег видео-кадра, JEPA настоји да предвиди апстрактне представе будућих стања.
Лекун то објашњава једноставним примером.
Када возите аутомобил, није вам важно како тачно изгледа семафор до последњег пиксела.
Важно вам је само да ли је црвен или зелен.
Према његовом мишљењу, интелигентни системи морају да науче да издвајају битне информације и игноришу небитне детаље.
Како АИ учи да замишља будућност?
Да би агент добио способност планирања, истраживачи су JEPA моделе најпре обучавали на хиљадама сати видео-снимака са YouTube-а.
На тај начин систем је учио како се сцене развијају током времена.
Након тога модели су прилагођени роботима како би могли да предвиђају шта ће се догодити када роботска рука изврши одређени покрет или када неки предмет буде померен.
Крајњи циљ није само реакција на дешавања већ и планирање.
Уместо да одмах делује, агент може да замисли више могућих будућности и процени која од њих најбоље води ка циљу.
На пример, ако робот жели да дохвати шољу за кафу, он може да симулира различите покрете унутар свог унутрашњег модела света пре него што изведе стварну акцију.
Зашто Лекун сматра да LLM није довољан?
Лекун тврди да је овакав задатак суштински недоступан класичним великим језичким моделима.
„Не можете моделирати овакво понашање предвиђањем дискретних токена“, каже он.
„Због тога нећете моћи да користите LLM-ове за све ове задатке.“
Његова визија је да се JEPA системи најпре примене у роботским управљачким системима у областима као што су енергетика, ваздухопловство и медицина.
Међутим, крајњи циљ је далеко амбициознији.
„Коначни циљ је изградња универзалних интелигентних система“, истиче Лекун.
Зашто Anthropic и даље верује у велике језичке моделе?
Док Јан Лекун и његове колеге граде нову генерацију светских модела, у компанији Anthropic за сада избегавају да се озбиљније упуштају у тај правац.
Џаред Каплан наводи да је то делимично пословна одлука.
Компанија је тренутно фокусирана на системе који су корисни за програмирање, писање, анализу докумената и канцеларијске послове, а не на роботике или физичке агенте.
Међутим, иза те стратегије стоји и дубље уверење.
Каплан сматра да велики језички модели још нису ни приближно исцрпели свој потенцијал.
Феномен који је изненадио чак и истраживаче
Како модели постају већи, све чешће се појављују способности које нико није очекивао.
Истраживачи овај феномен називају „емергенција“ (emergence).
Током последњих неколико година велики језички модели стекли су способности које њихове мање верзије нису имале.
Научили су да решавају математичке задатке, спроводе сложене логичке поступке и пишу функционалан софтвер.
Ниједна од тих способности није била директно програмирана.
У многим случајевима истраживачи нису могли ни да предвиде у ком тренутку ће се оне појавити.
За Каплана је то доказ да интелигенција може да проистекне из довољно великих језичких модела без потребе за потпуно новим архитектурама.
Да ли су LLM модели заиста само „статистички папагаји“?
Каплан одбацује честу критику да су велики језички модели само напредни системи за понављање образаца без стварног разумевања света.
Према његовом мишљењу, они већ поседују унутрашње моделе стварности који су формирани посредно, кроз анализу огромних количина текста и слика.
У супротном, тврди он, не би били способни да дају смислена упутства за вожњу кроз град или да објасне како функционишу сложени системи.
„Неки људи тврде да није могуће обучити AGI без утеловљења у физичком свету“, каже Каплан.
„Лично сам веома скептичан према тој тврдњи.“
Главно питање: по коју цену?
Пим де Вите из компаније General Intuition признаје да је могуће да довољно велики језички модели временом развију имплицитне светске моделе.
Међутим, по његовом мишљењу, право питање није да ли је то могуће, већ колико ће то коштати.
У канцеларији компаније у Њујорку он показује једноставан пример.
Руком имитира покрет брисања стола.
Четбот може без проблема да опише како се чисти сто.
Може да објасни да треба узети крпу и уклонити мрвице.
Али разумевање колико снажно треба притиснути крпу, како прилагодити покрет ако се мрвице расипају у различитим правцима или како реаговати на промене у окружењу — то је много теже научити само из речи.
„То је отприлике као идеја да једна слика вреди хиљаду речи“, каже он.
„Због тога су нам потребни светски модели.“
Будућност можда није избор између два приступа
Да ли светски модели имају веће шансе да доведу до вештачке опште интелигенције од даљег скалирања језичких модела — то је питање на које данас нико нема поуздан одговор.
Али све више истраживача сматра да ова два приступа не морају бити супротстављена.
Напротив, могуће је да ће се у будућности спојити у јединствен систем.
Светски модел за простор, језички модел за речи
Према де Витеу, језички модели и светски модели могли би да сарађују.
LLM би могао да се користи за разумевање језика, комуникацију и логичко закључивање.
Светски модел би преузимао задатке који захтевају просторну оријентацију, разумевање физике и предвиђање последица поступака.
Таква подела улога подсећала би на начин на који људи комбинују језик, чулна искуства и интуицију приликом доношења одлука.
Први знаци спајања две технологије
У неким Лекуновим експериментима ова идеја већ је почела да се остварује.
Истраживачи су повезали JEPA модел са великим језичким моделом.
Комбиновани систем био је у стању да одговара на питања о томе шта ће људи на видео-снимцима највероватније урадити у следећем тренутку.
То је био корак ка спајању разумевања физичког света и језичке интелигенције.
Можда је још занимљивија могућност да светски модели једног дана сами науче језик.
Уместо да буду обучавани на тексту, могли би да усвајају говор и писање као део стварности коју посматрају — кроз звук и слику, баш као што то чине људи.
Читање, писање и разговор тада би постали само један аспект разумевања света, а не његова полазна тачка.
Ко ће први стићи до AGI-ја?
Док сам напуштао канцеларију компаније General Intuition, Адам Џели ми је уручио налепницу са логотипом фирме.
Лого подсећа на обрнуто слово А.
Изгледа као математички симбол који означава „за све“, објаснио је он.
Ако се мало боље загледате, у њему се могу препознати и слова „G“ и „I“.
Симбол је више од обичног логотипа.
Он представља амбицију која данас покреће читаву индустрију вештачке интелигенције — стварање система који неће само говорити о свету, већ ће га истински разумети.
Да ли ће до тог циља први стићи све већи језички модели или нова генерација светских модела, остаје једно од најважнијих отворених питања савремене технологије.
Једно је сигурно: трка за вештачку општу интелигенцију тек улази у своју најзанимљивију фазу.
