Claude Opus 5.5 је наше прво издање откако смо позвали на „успоравање трке“ у развоју најнапреднијих модела. Пре објављивања тестирали су га спољни евалуатори, међу којима су били Frontier Design и METR. У нашој аутоматизованој бихејвиоралној ревизији, најсвеобухватнијем тесту усаглашености који спроводимо, Opus 5.5 је модел са најбољим резултатима који смо до сада тестирали. Уз то, долази са заштитним механизмима које смо развили за наше најспособније моделе.
Ево неких побољшања која можете очекивати од модела Opus 5.5.
Перформансе
Opus 5.5 представља велики искорак у односу на Opus 5. То је нови водећи модел, а први тестери забележили су велики напредак у раду на најсложенијим задацима.
Један тестер је завршио миграцију кода од 680.000 линија за мање од једног дана — посао за који би инжењерском тиму биле потребне недеље. Модел је веома добар у проналажењу и отклањању неефикасности у софтверу. Када смо од њега затражили да скрати време учитавања на свакој страници једне веб апликације, Opus 5.5 је успео у 39 од 40 случајева, док је Opus 5 правио мања побољшања, али је истовремено мењао и понашање апликације.
Други тестер је неколико Claude модела задужио да на основу једног јединог упита направе игру. Opus 5.5 је постигао најбољи резултат од свих тестираних модела када су у питању квалитет графике и завршна обрада.
Безбедност
Opus 5.5 постиже најбоље резултате до сада на нашој аутоматизованој бихејвиоралној ревизији, нашем систему за проверу усаглашености који тестира Claude кроз хиљаде симулираних сценарија.
Он је знатно мање склон да предузме тешко реверзибилне радње или поступи ван задатих граница у односу на недавне моделе, а отпорнији је и на prompt injection нападе него Opus 5.
Проширили смо и тестирање усаглашености тако да обухвата дуже задатке, немогуће задатке и сценарије засноване на стварним инцидентима, иако и даље постоје ограничења. Потпуни детаљи евалуације доступни су у System Card документу за Opus 5.5.
Пошто је Opus 5.5 по могућностима упоредив са Claude Mythos 5.1 у областима биологије и сајбер-безбедности, пуштамо га у употребу са заштитним механизмима сличним онима које користи Claude Fable 5.1.
Проверене организације већ могу да се пријаве за наш Life Sciences Verification Program како би користиле Opus 5.5 у биолошким истраживањима. У наредним недељама проширићемо приступ и нашем Cyber Verification Program-у, па ће верификовани стручњаци за сајбер-безбедност моћи да користе Opus 5.5 за свој рад.
Цена и брзина
Opus 5.5 захтева мање рачунарских ресурса за рад од модела Opus 5, што се одражава и на цену. Наши тестови показују да ће, при подразумеваним подешавањима, типични задаци са њим коштати 40 одсто мање него са Opus 5.
Цена улазних и излазних токена износи 4, односно 20 долара на милион токена, што је 20 одсто мање него код Opus 5.
Читање кешираних токена, који чине већину трошкова код агентских и програмерских задатака, кошта 0,20 долара на милион токена, што је 60 одсто мање него код Opus 5.
Opus 5.5 такође генерише излаз више од 30 одсто брже од Opus 5.
Поред смањења цене, повећавамо петочасовне лимите коришћења за Pro, Max, Team и Enterprise пакете који се наплаћују по корисничком месту. Корисницима претплатничких пакета такође омогућавамо ресетовање ограничења брзине, које сада могу да сачувају и искористе када им одговара.
Комуникација
Opus 5.5 комуницира природније него претходни модели. Први тестери оценили су да је његово писање јасније и лакше за праћење, чиме је одговорено на део честих критика које смо добијали за Opus 5.
Он најважније информације ставља на почетак и његов стил га чини бољим партнером за рад током дугих сесија.
Један од раних тестера описао га је речима: „Пише онако како ја пишем.“
И у нашем раду ова промена је учинила да се резултати модела лакше прате и проверавају, што представља и безбедносну и практичну предност.
Claude Sonnet 5.5 и Claude Haiku 5.5 уследиће у наредним недељама, са многим истим побољшањима у перформансама, ефикасности и безбедности.
Перформансе и исплативост
Према нашим бенчмарковима, Claude Opus 5.5 предњачи у агентском програмирању, коришћењу рачунара и пословима који захтевају знање.
Ипак, на овом нивоу способности открили смо да разлике у резултатима на бенчмарковима постају мање поуздан показатељ стварних разлика у раду. У нашем раду, предност Opus 5.5 у односу на Claude Fable 5.1 мања је него што резултати ових тестова сугеришу.
На тесту Terminal-Bench 4.0, Opus 5.5 остварио је резултат од 66,4 одсто, у односу на 55,8 одсто за Fable 5.1, 52,3 одсто за Opus 5, 57,9 одсто за GPT-6 Astra и 37,3 одсто за GPT-5.6 Sol.
На FrontierCode v1.1, Opus 5.5 је остварио 54,4 одсто, Fable 5.1 50,3 одсто, Opus 5 48 одсто, GPT-6 Astra 53,3 одсто, а GPT-5.6 Sol 47,5 одсто.
На CursorBench 4.0, Opus 5.5 је остварио 57,8 одсто, Fable 5.1 51,8 одсто, Opus 5 46,6 одсто, док је GPT-5.6 Sol остварио 41,7 одсто.
На GDPval-AA v2.1, који мери способности у пословима из стварног света, Opus 5.5 је постигао 1846 Elo поена. Fable 5.1 имао је 1735, Opus 5 1708, GPT-6 Astra 1542, а GPT-5.6 Sol 1588.
На AutomationBench-у, Opus 5.5 је постигао 40 одсто, Fable 5.1 31,4 одсто, Opus 5 26,9 одсто, GPT-6 Astra 41,4 одсто, а GPT-5.6 Sol 28,8 одсто.
На Humanity’s Last Exam, уз коришћење алата, Opus 5.5 је постигао 67,7 одсто, Fable 5.1 65,6 одсто, Opus 5 63,6 одсто, а GPT-6 Astra 57,2 одсто.
На Terminal-Bench-Science 0.1, Opus 5.5 је имао 58,7 одсто, Fable 5.1 52,6 одсто, Opus 5 29 одсто, GPT-6 Astra 64,6 одсто, а GPT-5.6 Sol 22,4 одсто.
На OSWorld 2.0, тесту коришћења рачунара, Opus 5.5 је остварио 81,8 одсто у делимичном режиму, Fable 5.1 80,7 одсто, а Opus 5 74 одсто.
На тесту препознавања визуелних графикона Chartography, уз употребу алата, Opus 5.5 је постигао 89 одсто, Fable 5.1 88,4 одсто, а Opus 5 83,4 одсто.
Сви резултати Claude Opus 5.5, осим тамо где је другачије наведено, користе адаптивно размишљање при максималном нивоу напора.
Резултати за Terminal-Bench 4.0 пријављени су за Claude Opus 5.5 при xhigh нивоу напора и GPT-6 Astra при high нивоу напора, како их је пријавио OpenAI. То представља најбољи резултат сваког модела.
Claude Opus 5.5 је тестиран са укљученим продукционим заштитним механизмима. Када су они интервенисали, задатке из сајбер-безбедности завршавао је Claude Opus 4.8, док су задатке из биологије и развоја напредних LLM модела завршавали Claude Opus 5. То вероватно смањује резултате Opus 5.5 на овим бенчмарковима.
Код Terminal-Bench 4.0 стандардна грешка износи ±2,6 процентних поена за Claude Opus 5.5 и ±1,6–2 процентна поена за остале Claude моделе.
Јавна ранг-листа, која користи пет покушаја по задатку и Claude Code окружење, наводи 51,8 одсто за Claude Opus 5. Наше подешавање репродукује резултат од 52,3 одсто, што је унутар статистичке буке.
Резултати за GPT-6 Astra и GPT-5.6 Sol преузети су из података које је објавио OpenAI.
Код AutomationBench-а резултате је спровео и пријавио Zapier. Тестирања су обављена без резервних модела, па су интервенције заштитних механизама третиране као неуспеси. То је довело до нижег резултата него што би Claude Opus 5.5 у пракси могао да оствари.
Резултат Opus 5.5 потиче из сопствене евалуације компаније Zapier током периода раног приступа, док резултати за Opus 5, GPT-5.6 Sol и GPT-6 Astra потичу са јавне ранг-листе Zapier-а.
Код Terminal-Bench-Science 0.1 стандардна грешка износи ±3,5–5 процентних поена по моделу. Јавна ранг-листа, са три покушаја по задатку и Claude Code окружењем, наводи 30 одсто за Claude Opus 5, док је наше подешавање дало 29 одсто, што је унутар статистичке буке. Резултат за GPT-6 Astra преузет је из података које је објавио OpenAI.
Тамо где је предност Opus 5.5 посебно јасна јесте ефикасност. Он кошта мање по токену од Opus 5 и користи мање токена по задатку, што укупно доноси пад трошкова од 40 одсто.
Цене
Цена на милион токена за Claude Opus 5.5 износи:
Читање кешираних токена: 0,20 долара.
Улазни токени: 4 долара.
Излазни токени: 20 долара.
Упис у кеш: 5 долара.
Код Claude Opus 5 ове цене износе 0,50 долара за читање кеша, 5 долара за улазне токене, 25 долара за излазне токене и 6,25 долара за упис у кеш.
Fast режим за Opus 5.5 такође је доступан у Claude Code-у и Claude платформи, са брзином до 2,5 пута већом. Цена тог режима износи 8 долара за милион улазних токена и 40 долара за милион излазних токена.
Програмирање
Opus 5.5 је посебно добар у дугим и комплексним задацима, попут миграција и ревизија које обухватају читаве кодне базе.
Један од раних тестера користио је модел за ревизију и исправљање кодне базе од 200.000 линија за мање од три сата. Opus 5 је за исти посао користио више од 20 сати и 2,5 пута више токена.
У интерном тесту тражили смо од Opus 5.5 и Fable 5.1 да преведу HAProxy, широко коришћени софтвер који балансира оптерећење веб саобраћаја између сервера, са C-а на Rust.
Обе верзије су прошле готово све регресионе тестове самог HAProxy-ја. Међутим, Opus 5.5 је завршио посао за 9,5 сати, у поређењу са 12 сати код Fable 5.1, и уз 51 одсто мањи трошак.
Opus 5.5 постиже резултате на нивоу водећих модела у агентском програмирању, уз само део њихових трошкова.
На FrontierCode-у, при подразумеваном нивоу напора, надмашује GPT-6 Astra уз приближно 20 одсто трошка по задатку.
На Terminal-Bench 4.0 парира Astra-и за око 40 одсто њеног трошка, док на CursorBench-у надмашује GPT-5.6 Sol за 11 процентних поена уз приближно трећину трошка.
Terminal-Bench 4.0
Terminal-Bench 4.0 мери колико добро модел може да обави сложене, вишекорачне професионалне задатке унутар командне линије.
Opus 5.5 при подразумеваном нивоу напора надмашује Opus 5 при максималном нивоу напора, и то за око петину трошка.
У исто време, парира GPT-6 Astra-и за приближно 40 одсто њеног трошка.
Рани тестери су пријавили сличне добитке у ефикасности и интелигенцији модела.
„Програмери желе агенте који могу да преузму прави софтверски посао и заврше га. У нашим тестовима кроз GitHub Copilot CLI и VS Code, Claude Opus 5.5 користио је међу најмањим бројем токена и корака које смо мерили. У VS Code-у решавао је више терминалских задатака него Opus 5 за мање од половине броја корака. Више од саме ефикасности у појединачним задацима, он омогућава програмерима да замисле и реализују веће пројекте.“
— Марио Родригез, директор за производе у компанији GitHub
Најбезбеднији агент за програмирање
Компаније које користе агенте унутар својих система морају да знају да ти агенти раде онако како је предвиђено, посебно када аутономно раде сатима.
Opus 5.5 има класификатор који проверава сваку радњу пре него што буде извршена, open-source sandbox који безбедносни тимови могу да ревидирају и проверу кода која открива рањивости пре него што промене буду спојене у главну кодну базу.
И сам модел има снажнију одбрану. Код напада путем prompt injection-а, парира Opus 5 или га надмашује у сваком тестираном окружењу, укључујући програмирање, коришћење алата, коришћење рачунара и претраживање веба.
На бенчмарку који је спровела компанија за безбедност вештачке интелигенције Gray Swan, Opus 5.5 дели најнижу стопу успешности prompt injection напада са Fable 5.1 међу свим тестираним моделима.
Opus 5.5 је поуздан и способан истраживач
У једном интерном тесту тражили смо од Opus 5.5, Fable 5.1 и Opus 5 да напишу извештај о кварталним резултатима једне компаније, користећи само информације које су могли да пронађу на копији веба на којој је извештај о резултатима било тешко пронаћи.
Аутоматизовани оцењивач проверавао је сваку бројку и сваки цитат у односу на изворе.
У различитим подешавањима нивоа напора, 16 од 18 извештаја које је направио Opus 5.5 прошло је наш праг квалитета. Свака измишљена бројка или цитат значили би пад на тесту. Ни Fable 5.1 ни Opus 5 нису достигли тај праг ни у једном покушају.
Модел је такође снажан у финансијској анализи и пословним задацима.
Walleye Capital, инвестициона компанија и један од раних тестера, саопштила је да је Opus 5.5 у великој мери решио њихов сет евалуација већ на најнижем нивоу. На вишим нивоима остваривао је још боље резултате, при чему је приметио грешку у упутствима за евалуацију и исправно је узео у обзир. Ниједан други модел раније није открио ту грешку.
У другом тесту, од Opus 5.5 и Opus 5 тражили смо да анализирају предложено спајање две фиктивне компаније које се баве HR софтвером.
Оба модела су направила финансијски модел у Excel-у, а затим га претворила у презентацију за руководство са проценом да ли трансакција има смисла по понуђеној цени.
Оба модела су дошла до истог закључка о трансакцији, али је модел Opus 5.5 био детаљнији, а његова презентација лакша за читање, док је Opus 5 имао мање грешке.
Opus 5.5 је завршио посао за 63 минута, у поређењу са 93 минута код Opus 5, уз 50 одсто мањи трошак израде.
На евалуацијама рада заснованог на знању, Opus 5.5 надмашује друге моделе и истовремено користи мање токена
На GDPval-AA v2.1, тесту рада из стварног света који обухвата 44 занимања, Opus 5.5 има 1846 Elo поена, испред Fable 5.1 са 1735 и Opus 5 са 1708.
При подразумеваном нивоу напора, Opus 5.5 надмашује GPT-6 Astra при максималном нивоу напора уз приближно петину трошка по задатку.
Такође је надмашио друге моделе на тестовима који мере пословне процесе и прикупљање великих количина података.
Наши корисници пријавили су сличне резултате.
„Чак и на најнижем нивоу напора, Claude Opus 5.5 открио је 72 одсто познатих грешака у нашим ревизијама кода, у поређењу са 56 одсто код Opus 5 при високом нивоу напора, уз мање лажних упозорења и само делић излаза.
У консултантској анализи за америчко тржиште, низак ниво размишљања достигао је исте резултате као виши нивои на половини количине текста и прошао наше провере квалитета. Када се више задатака са нижим нивоом размишљања користи у продукцији, добијамо рад спреман за клијента уз већу ефикасност.“
— Карл Бенет, CIO, Deloitte Consulting LLP
