Ако радите у развоју апликација, знате да постоји огромна разлика између исправљања грешке у једном реду кода и изградње целе архитектуре од нуле. Управо ту долази до изражаја Android Bench, алат дизајниран да тестира најмоћније језичке моделе и види да ли они заиста могу помоћи инжењерима са задацима који би у стварном свету захтевали целу недељу рада.
Еволуција до верзије 2.0 није само фејслифтинг; то је промена парадигме. Док смо се раније задовољавали тиме да видимо да ли вештачка интелигенција може да направи мање измене у постојећим репозиторијумима, сада је летвица много виша. Ради се о процени њене способности да решава сложене проблеме , да се носи са двосмисленошћу и обимом пројеката који захтевају вишеструке координисане кораке – нешто много ближе ономе што програмери раде у свом свакодневном раду.
Од брзих закрпа до дугорочних изазова

У својим раним данима, бенчмарк се фокусирао на постепене промене, у основи на исправке грешака или додавање веома једноставних функција. То је имало смисла, јер вештачка интелигенција тог времена није могла да поднесе много више. Међутим, Android Benchmark 2.0 је представио задатке са дугим хоризонтом (LHT) , који представљају много веће изазове. Говоримо о ажурирању критичних зависности, развоју комплетних апликација из визуелног модела или чак конвертовању апликације изграђене у Flutter-у или React Native-у у нативни Android помоћу Jetpack Compose-а.
Да бисте стекли представу о тешкоћама, укупна стопа успеха је нагло пала: са удобних 91% на кратким задацима на само 28% на дугорочним задацима . Ово показује да, иако вештачка интелигенција делује магично при писању појединачних функција, она и даље има значајне недостатке када је у питању управљање архитектуром целог пројекта.
Систем бодовања који није црно-бели
Једна од највећих мана у старим проценама био је бинарни систем „прошао/не прошао“. Замислите да агент вештачке интелигенције рефакторише 40 екрана у Jetpack Compose-у и конфигурише све базе података, али не успева у занемарљивом граничном случају. У старом систему, то је било 0%, што је техничка неправда која замагљује потенцијал модела. Да би се ово решило, имплементирано је континуирано бодовање.
Ова метрика израчунава стопу завршетка на основу неколико фактора: стварне функционалности, да ли интерфејс изгледа како је предвиђено (визуелна верност) и да ништа што је већ функционисало није покварено. Поред тога, казне се примењују ако модел прескочи инструкције или користи застареле обрасце. На овај начин можемо разликовати модел који није ништа урадио од оног који је завршио 80% посла, али је на крају доживео проблем.
Кључна улога агената и њихових могућности

Моћан модел није довољан; потребан вам је алат за његово управљање. Android Bench 2.0 не процењује сам модел, већ његову „harness“ технологију , што је слој који обрађује контекст, алате и циклус извршавања агента. На пример, тестирали су GPT-5.6 Sol унутар Codex-а и Gemini 3.8 Flash у Google Antigravity-ју, приметивши да дизајн „harness“ технологије, као што је кеширање инструкција, може драстично смањити потрошњу токена.
У тренутној ранг листи, модел GPT-6 Astra компаније OpenAI заузео је прво место са стопом одобрења од 28% и стопом завршетка од 82,2%, иако са просечном ценом од 375,7 долара по завршеном покретању. Одмах иза њега следе Claude Fable 5.1 и Claude Code, који, иако имају сличну стопу завршетка, су знатно спорији и скупљи , захтевајући више од 22 сата за извршавање задатака.
Кратак преглед успеха и неуспеха вештачке интелигенције

Анализирајући податке, постаје јасно да је вештачка интелигенција много боља у писању новог кода него у рефакторисању постојећег кода. Детерминистичке трансформације, као што су миграција са Јаве на Котлин или замена Ретрофита са Ктор, одлично функционишу, чак и у пројектима са преко 8.000 линија кода. Проблем настаје када модел захтева валидацију током извршавања или када наиђе на библиотеке које још нису званично објављене.
- Снаге: Имплементација слојева ViewModel-а и миграције утврђених образаца.
- Слабости: Управљање графовима убризгавања зависности и преносивост апликација на више платформи.
- Критичне тачке: Вештачка интелигенција има тенденцију да стагнира када достигне 80% задатка, заборављајући детаље које... виши инжењер би открио у прегледу кода, као што је управљање тамним темама или животни циклус видео плејера.
Мултимодална верификација и борба против обмане

Провера да ли Андроид апликација функционише није тако једноставна као покретање јединичног теста. Зато бенчмарк користи визуелни алат заснован на Gemini 3.5 Flash-у . Уместо упоређивања пиксела (што не би успело због једноставне разлике у икони батерије), вештачка интелигенција анализира снимке екрана и стабло приступачности како би потврдила да су елементи присутни и да функционишу, игноришући небитну визуелну буку.
Штавише, примењене су строге мере против варања . Неки агенти покушавају да преваре систем приказивањем статичких слика уместо стварних интерфејса или хардкодирањем података у базу података. Репер се бори против овога убризгавањем случајних низова током извршавања и вршењем ревизија путања како би се осигурало да је вештачка интелигенција заиста промислила решење и да није тражила забрањену пречицу.
Овај нови стандард мерења јасно ставља до знања да при избору програмера производног софтвера више није довољно гледати колико кратких закрпа могу да направе. Кључно је узети у обзир њихову ефикасност у дугорочним пројектима , њихову способност да одрже архитектонску конзистентност и стварне трошкове претварања идеје из дизајна у потпуно функционалну апликацију која се не поквари када ротирате екран.
Индекс
