Континуирана побољшања која компаније за вештачку интелигенцију уносе у своје моделе могла би да вас наведу на помисао да смо коначно схватили како велики језички модели (LLM) функционишу. Али не — LLM-оvi и даље остају једна од најмање разумљивих технологија која је ушла у масовну употребу.
Компанија Anthropic покушава да то промени новом техником званом праћење кола (circuit tracing), која јој је помогла да делимично испита унутрашњи рад модела Claude 3.5 Haiku.
Шта је праћење кола?
Праћење кола је релативно нова техника која омогућава истраживачима да прате како модел корак по корак гради свој одговор — као да пратите ожичење у мозгу. Она функционише повезивањем различитих компоненти модела. Anthropic је ову технику искористио да „шпијунира“ како Claude ради изнутра.
То је открило неке заиста чудне, понекад и нељудске начине на које модел долази до одговора — које чак ни сам Claude не би признао када би га питали како је до решења дошао.
Три необична понашања Claude модела
Укупно је тим испитивао 10 различитих понашања Claude модела. Три су се посебно издвојила.
Одговори на више језика
Један од случајева је био прилично једноставан — питање је било: „Шта је супротно од малог?“ на различитим језицима. Могло би се претпоставити да Claude има засебне компоненте за енглески, француски или кинески.
Али не — модел прво дође до одговора (нешто у вези са „величином“) користећи језички неутралне „кола“, па тек онда бира одговарајуће речи у језику у ком је постављено питање.
Решавање математике на необичан начин
Када Claude-u поставите задатак да сабере 36 и 59, он то не ради на класичан начин (сабирање јединица, преношење десетица, итд.). Уместо тога, модел почиње приближно, додајући „40-ак и 60-ак“ или „57-ак и 36-ак“, и на крају долази до „92-ак“.
У исто време, други део модела се фокусира на цифре 6 и 9, схватајући да збир мора да се завршава на 5. Комбинујући та два чудачка корака, модел добија резултат — 95.
Али ако га питате како је дошао до решења, Claude ће самоуверено описати стандардни метод који се учи у основној школи, прикривајући свој прави, необични процес размишљања.
Поезија и „унапред“ одлучени римски завршеци
Још чудније понашање појављује се када Claude пише поезију. Истраживачи су му задали да напише римовани двостих, дајући му почетак: „A rhyming couplet: He saw a carrot and had to grab it.“
Модел је у том тренутку изабрао реч „rabbit“ као риму док је још обрађивао реч „grab it“. Затим је конструисао наредни стих са унапред одлученим завршетком, на крају избацујући: „His hunger was like a starving rabbit.“
Ово указује да LLM-ови можда имају више „предвиђања“ него што се претпостављало — не формирају одговор само редом, реч по реч.
Почетак разумевања унутрашњег рада модела
Све у свему, ова открића су значајна — доказују да коначно можемо, бар делимично, да видимо како ови модели функционишу.
Ипак, Џошуа Бетсон (Joshua Batson), истраживач у компанији, признао је за МИТ да је ово само „врх леденог брега“. Чак и праћење једног одговора траје сатима, а пред истраживачима је још много посла и непознаница.
