Přeskočit na obsah
0 komentářů Čísla 3 min čtení

GPT-6 Astra splnil v testu Co-Design Bench celé zadání u čtvrtiny úloh

Alibaba a univerzitní týmy sestavily Co-Design Bench ze skutečných požadavků na úpravy aplikací. Nejúspěšnější GPT-6 Astra splnil průměrně 69,9 % jednotlivých požadavků, celé zadání však dokončil jen u 26,4 % úloh. Sada záměrně upřednostňuje obtížné případy.

Účastníci hackathonu pracují s notebooky u společného stolu
Hackathon Wiki Mentor v Rebase Code Camp v roce 2024. Ilustrační snímek. Foto: Essa237, Wikimedia Commons (CC0)

Opravit částku na účtence může znamenat změnit také součet, přehled i graf. Právě takové provázané úpravy zkouší Co-Design Bench, který sestavili výzkumníci z Alibaby a několika univerzit. V práci zveřejněné 26. října 2026 porovnali deset modelů ve stejném prostředí pro práci s kódem. Měřili zvlášť splnění jednotlivých podmínek a dokončení celého zadání.

Částečně hotová aplikace dostane body, ale nesplní celé zadání

Autoři připravili 273 úloh a k nim 2 331 skrytých podmínek, podle kterých se výsledek hodnotí. Agent dostane funkční výchozí aplikaci a požadavek uživatele, někdy doplněný obrázkem, zvukem, videem nebo dokumentem. Podmínky hodnocení nevidí. Musí tedy sám odvodit, co je potřeba změnit a co má zachovat.

Nejvýše skončil GPT-6 Astra. Průměr jeho podílu plně splněných podmínek v jednotlivých úlohách dosáhl 69,9 %. Všemi podmínkami současně prošel u 26,4 % zadání. První číslo proto neznamená, že agent dokončí sedm z deseti zakázek. Každá úloha má v průměru stejnou váhu, ať její seznam podmínek obsahuje málo, nebo mnoho položek.

Model v testuPrůměr splněných podmínekÚlohy splněné celé
GPT-6 Astra69,9 %26,4 %
Claude Opus 566,1 %18,3 %
Qwen3.8-Max-090265,3 %16,5 %

Zdroj: autoři Co-Design Bench, verze práce v1, tabulka 5; všech 273 úloh. Hlavní porovnání běželo v prostředí Claude Code se stejnými systémovými pokyny a nástroji. Každý běh měl limit tří hodin a 120 tahů. Jde o výsledky tohoto uspořádání, nikoli o měření běžných předplatných ChatGPT nebo Clauda.

Autoři vybírali úpravy, se kterými už měli uživatelé potíže

Výchozí soubor obsahoval po odstranění duplicit 37 463 požadavků z 26 314 skutečných programovacích sezení. Výběr zvýhodňoval složitost, možnost výsledek ověřit a známky předchozího neúspěchu. Patřilo k nim opakované přeformulování požadavku nebo návrat ke starší podobě aplikace. Výsledných 273 úloh tedy není náhodný vzorek všeho, co lidé agentům zadávají.

Sto úloh míří na místní úpravy podle dodaných podkladů, dalších 173 na změny napříč projektem. Ukázka na webu testu požaduje opravu údaje z účtenky ve všech souvisejících pohledech. Jiná spojuje tabulkový soubor a obrázek s aktualizací ukazatelů, tabulek a grafů. Nestačí, aby nová hodnota existovala někde v kódu.

U rozsáhlejších úprav klesl všem deseti modelům podíl splněných podmínek, když zadání spojovalo tři nebo čtyři druhy změn místo jednoho či dvou. Autoři ale upozorňují, že se skupiny liší i samotnými úkoly. Porovnání proto popisuje tuto sadu; samo neizoluje příčinu poklesu.

Hodnotitel musí funkci najít i spustit

Kontrola kombinuje zdrojový kód s otevřením aplikace v prohlížeči. První model přiděluje podmínkám hodnocení splněno, částečně splněno nebo nesplněno. Druhý model napadá kladné verdikty a hledá prázdné náhrady funkcí, odpovědi zapsané napevno či ovládání, ke kterému se uživatel nedostane. Tvrzení o vzhledu musí mít snímek, tvrzení o ovládání záznam skutečné akce a následné změny stavu.

Rozdíl mezi průchodem testu a přijatelnou opravou zkoumala nezávisle také organizace METR v březnové studii SWE-bench Verified. Čtyři správci tří projektů hodnotili 296 oprav vytvořených tehdejšími agenty. Přibližně polovinu oprav, které prošly automatickým testem, by podle upraveného odhadu nepřijali. METR přitom výslovně uvedla, že agenti nedostali možnost opravu dopracovat podle připomínek. Toto starší měření se týkalo jiných modelů i úloh a nepotvrzuje pořadí v Co-Design Bench.

Pořadí záviselo také na programu kolem modelu

V doplňkovém pokusu autoři měnili prostředí, přes které model čte soubory, provádí úpravy a spouští příkazy. Qwen3.8-27B měl u úprav napříč projektem podle prostředí průměrné splnění požadavků od 56,0 do 74,9 %. Měnilo se i jeho pořadí vůči Kimi K3. Název modelu proto k zopakování takového výsledku nestačí.

Co-Design Bench hodnotí konečnou aplikaci po jednom sjednoceném zadání. Nezkouší průběžné domlouvání s uživatelem a ani dvojice modelových hodnotitelů nezaručí bezchybný verdikt. Na stránce projektu si lze u ukázkových úloh prohlédnout požadavek, jednotlivé podmínky i průběh práce agenta.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. U sebe doma

    Pronájem GPU pro LightOnOCR-3 vyšel v testu pod deset centů za tisíc stran

    Daniel van Strien porovnal osm modelů pro rozpoznávání textu na 850 stránkách. LightOnOCR-3 vyšel na necelých deset amerických centů za tisíc stran, počítáno pouze z…

  2. Modely

    Google účtuje za Gemini 4 Neon víc než za zlevněný Carbon

    Google vydal Gemini 4 Neon pro rozhraní API a placené služby Gemini. Za tokeny si účtuje o polovinu víc než u Carbonu se zaváděcí slevou. Poměr cen se má obrátit 1.…

  3. Čísla

    Rozbor RBA ukazuje horší vývoj zaměstnanosti mladých v profesích vystavených AI

    Ekonom australské centrální banky našel slabší výsledky mladých v povoláních, jejichž úkoly zvládají jazykové modely. Nedokládá tím, že práci vzala AI. Samostatná…

  4. Čísla

    Gemini 4 Carbon vychází v odhadu MathAreny téměř patnáctkrát dráž než GPT-6.1 Sol

    Gemini 4 Carbon vede v listopadovém porovnání MathAreny s odhadovanou úspěšností 85,4 procenta. Odhad nákladů na úlohu ale činí 15,70 dolaru proti 1,07 u GPT-6.1 Sol.…