GPT-6 Astra splnil v testu Co-Design Bench celé zadání u čtvrtiny úloh
Alibaba a univerzitní týmy sestavily Co-Design Bench ze skutečných požadavků na úpravy aplikací. Nejúspěšnější GPT-6 Astra splnil průměrně 69,9 % jednotlivých požadavků, celé zadání však dokončil jen u 26,4 % úloh. Sada záměrně upřednostňuje obtížné případy.

Opravit částku na účtence může znamenat změnit také součet, přehled i graf. Právě takové provázané úpravy zkouší Co-Design Bench, který sestavili výzkumníci z Alibaby a několika univerzit. V práci zveřejněné 26. října 2026 porovnali deset modelů ve stejném prostředí pro práci s kódem. Měřili zvlášť splnění jednotlivých podmínek a dokončení celého zadání.
Částečně hotová aplikace dostane body, ale nesplní celé zadání
Autoři připravili 273 úloh a k nim 2 331 skrytých podmínek, podle kterých se výsledek hodnotí. Agent dostane funkční výchozí aplikaci a požadavek uživatele, někdy doplněný obrázkem, zvukem, videem nebo dokumentem. Podmínky hodnocení nevidí. Musí tedy sám odvodit, co je potřeba změnit a co má zachovat.
Nejvýše skončil GPT-6 Astra. Průměr jeho podílu plně splněných podmínek v jednotlivých úlohách dosáhl 69,9 %. Všemi podmínkami současně prošel u 26,4 % zadání. První číslo proto neznamená, že agent dokončí sedm z deseti zakázek. Každá úloha má v průměru stejnou váhu, ať její seznam podmínek obsahuje málo, nebo mnoho položek.
| Model v testu | Průměr splněných podmínek | Úlohy splněné celé |
|---|---|---|
| GPT-6 Astra | 69,9 % | 26,4 % |
| Claude Opus 5 | 66,1 % | 18,3 % |
| Qwen3.8-Max-0902 | 65,3 % | 16,5 % |
Zdroj: autoři Co-Design Bench, verze práce v1, tabulka 5; všech 273 úloh. Hlavní porovnání běželo v prostředí Claude Code se stejnými systémovými pokyny a nástroji. Každý běh měl limit tří hodin a 120 tahů. Jde o výsledky tohoto uspořádání, nikoli o měření běžných předplatných ChatGPT nebo Clauda.
Autoři vybírali úpravy, se kterými už měli uživatelé potíže
Výchozí soubor obsahoval po odstranění duplicit 37 463 požadavků z 26 314 skutečných programovacích sezení. Výběr zvýhodňoval složitost, možnost výsledek ověřit a známky předchozího neúspěchu. Patřilo k nim opakované přeformulování požadavku nebo návrat ke starší podobě aplikace. Výsledných 273 úloh tedy není náhodný vzorek všeho, co lidé agentům zadávají.
Sto úloh míří na místní úpravy podle dodaných podkladů, dalších 173 na změny napříč projektem. Ukázka na webu testu požaduje opravu údaje z účtenky ve všech souvisejících pohledech. Jiná spojuje tabulkový soubor a obrázek s aktualizací ukazatelů, tabulek a grafů. Nestačí, aby nová hodnota existovala někde v kódu.
U rozsáhlejších úprav klesl všem deseti modelům podíl splněných podmínek, když zadání spojovalo tři nebo čtyři druhy změn místo jednoho či dvou. Autoři ale upozorňují, že se skupiny liší i samotnými úkoly. Porovnání proto popisuje tuto sadu; samo neizoluje příčinu poklesu.
Hodnotitel musí funkci najít i spustit
Kontrola kombinuje zdrojový kód s otevřením aplikace v prohlížeči. První model přiděluje podmínkám hodnocení splněno, částečně splněno nebo nesplněno. Druhý model napadá kladné verdikty a hledá prázdné náhrady funkcí, odpovědi zapsané napevno či ovládání, ke kterému se uživatel nedostane. Tvrzení o vzhledu musí mít snímek, tvrzení o ovládání záznam skutečné akce a následné změny stavu.
Rozdíl mezi průchodem testu a přijatelnou opravou zkoumala nezávisle také organizace METR v březnové studii SWE-bench Verified. Čtyři správci tří projektů hodnotili 296 oprav vytvořených tehdejšími agenty. Přibližně polovinu oprav, které prošly automatickým testem, by podle upraveného odhadu nepřijali. METR přitom výslovně uvedla, že agenti nedostali možnost opravu dopracovat podle připomínek. Toto starší měření se týkalo jiných modelů i úloh a nepotvrzuje pořadí v Co-Design Bench.
Pořadí záviselo také na programu kolem modelu
V doplňkovém pokusu autoři měnili prostředí, přes které model čte soubory, provádí úpravy a spouští příkazy. Qwen3.8-27B měl u úprav napříč projektem podle prostředí průměrné splnění požadavků od 56,0 do 74,9 %. Měnilo se i jeho pořadí vůči Kimi K3. Název modelu proto k zopakování takového výsledku nestačí.
Co-Design Bench hodnotí konečnou aplikaci po jednom sjednoceném zadání. Nezkouší průběžné domlouvání s uživatelem a ani dvojice modelových hodnotitelů nezaručí bezchybný verdikt. Na stránce projektu si lze u ukázkových úloh prohlédnout požadavek, jednotlivé podmínky i průběh práce agenta.