Kompanija „OpenAI“ u novoj studiji objašnjava zašto ChatGPT i drugi veliki jezički modeli „haluciniraju“, fenomen poznat po tome da veštačka inteligencija izmišlja stvari, odnosno sadržaj odgovora. Takođe, iz kompanije kažu da znaju kako da reše problem, ali bi implementacija rešenja uništila poverenje korisnika. U novom radu je data najstrožija matematička analiza do sada koja objašnjava zašto ovi modeli samouvereno iznose netačne tvrdnje. Pokazano je da to nije samo nesrećna posledica načina na koji se trenutno treniraju, već nešto što je matematički neizbežno.
Deo problema proističe iz grešaka u podacima koji se koriste za treniranje. Ali, koristeći matematičku analizu načina na koji sistemi VI uče, istraživači su dokazali da čak i uz savršene podatke za obuku, problem i dalje ostaje.
Način na koji jezički modeli odgovaraju na upite – predviđajući jednu po jednu reč u rečenici na osnovu verovatnoća – prirodno dovodi do grešaka. Istraživači su pokazali da je ukupna stopa grešaka prilikom generisanja rečenica najmanje dvostruko veća od stope greške koju isti model VI ima na prostim pitanjima tipa „da/ne“, jer se greške akumuliraju tokom više predviđanja.
Drugim rečima, stopa halucinacija je u osnovi ograničena time koliko dobro sistemi VI mogu da razlikuju valjane od nevaljanih odgovora. Pošto je ovaj problem klasifikacije po prirodi težak u mnogim oblastima znanja, halucinacije postaju neizbežne.
Ispostavlja se i da što model ređe tokom treninga „vidi“ neku činjenicu, veća je verovatnoća da će halucinirati kada se o tome pita. Na primer, sa rođendanima poznatih ličnosti pokazalo se da ako se 20 odsto tih datuma u podacima pojavljuje samo jednom, onda bi bazni modeli morali da pogreše u najmanje 20 odsto upita o rođendanima.
Zaista, kada su istraživači pitali najnaprednije modele za rođendan Adama Kalaja, jednog od autora rada, „Dip sik verzija tri“ (DeepSeek-V3) je samouvereno ponudio tri različita, ali netačna datuma: „03.07“, „15.06“ i „01.01“. Tačan datum je u jesen, tako da nijedan nije bio blizu.
Zamka evaluacije
Još zabrinjavajuće je što analiza pokazuje zašto halucinacije ostaju i nakon post-trening napora (kao što je davanje ljudskih povratnih informacija pre puštanja modela u javnost). Autori su proučili deset glavnih modela, uključujući one koje koriste „Gugl“, „OpenAI“ i vodeće rang-liste za modele. Otkrili su da njih devet koristi binarne sisteme ocenjivanja koji daju nulu poena ako VI izrazi nesigurnost.
To stvara ono što autori nazivaju „epidemijom“ kažnjavanja iskrenih odgovora. Kada sistem kaže „ne znam“, dobija istu ocenu kao i kada da potpuno netačan odgovor. Tako optimalna strategija postaje jasna – uvek pogađati, makar i pogrešno. Istraživači su to i matematički dokazali. Bez obzira na verovatnoću tačnosti, očekivani rezultat od pogađanja uvek premašuje rezultat od uzdržavanja ako evaluacija koristi binarno ocenjivanje.
Rešenje koje bi sve pokvarilo
„OpenAI“ predlaže da VI pre odgovora proceni sopstveno samopouzdanje u tačnost i da benčmarkovi ocenjuju na toj osnovi. Tako bi VI mogla da dobije instrukciju: „Odgovori samo ako si više od 75 odsto siguran, jer greške nose minus tri poena, a tačni odgovori plus jedan“.
Matematički okvir istraživača pokazuje da bi pod odgovarajućim pragom sigurnosti VI sistemi prirodno izražavali nesigurnost umesto da pogađaju. To bi smanjilo halucinacije. Problem je, međutim, u korisničkom iskustvu.
Zamislite da ChatGPT počne da odgovara sa „ne znam“ na čak 30 odsto upita, što je konzervativna procena na osnovu analize činjenične nesigurnosti u podacima. Korisnici naviknuti da dobijaju samouverene odgovore na gotovo svako pitanje vrlo brzo bi napustili takav sistem.
Problem računarske ekonomije
Ne bi bilo teško smanjiti halucinacije koristeći uvide iz ovog rada. Poznate metode za kvantifikaciju nesigurnosti postoje decenijama. One bi se mogle koristiti za pouzdane procene nesigurnosti i usmeravanje VI ka pametnijim izborima.
Ali čak i ako bi se prevazišla prepreka da se korisnicima ne sviđa ova nesigurnost, ostaje još veći problem – računarska ekonomija. Modeli svesni nesigurnosti zahtevaju znatno više računarske snage od današnjih, jer moraju da procenjuju više mogućih odgovora i stepena pouzdanosti. Za sistem koji dnevno obrađuje milione upita to znači drastično veće operativne troškove.
Sofisticiraniji pristupi, kao što je aktivno učenje (gde VI postavlja dodatna pitanja da bi smanjila nesigurnost), mogu povećati tačnost, ali još više umnožavaju računarske zahteve.
Takvi metodi dobro funkcionišu u specijalizovanim domenima kao što je dizajn čipova, gde pogrešni odgovori koštaju milione dolara i opravdavaju ogromne resurse. Ali za potrošačke aplikacije, gde korisnici očekuju trenutne odgovore, ekonomija postaje nepremostiva.
