Nejlepší agent dosáhl v testu GDPx od SemiAnalysis skóre 12 procent
Nový test GDPx od SemiAnalysis vybírá náročné odborné obory a simulovaná pracoviště místo průřezu všemi povoláními. Claude Opus 5.5 v něm vede se skóre 12 procent. Výsledek ovlivňují také ochranná pravidla poskytovatelů a agentní aplikace, v nichž jednotlivé modely pracují.
SemiAnalysis 2. listopadu představila GDPx, sadu zkoušek pro agenty, tedy modely, které samy používají nástroje k plnění zadané práce. Ve zveřejněném žebříčku verze 1.0 vede Claude Opus 5.5 se skóre 12 procent. Toto číslo je průměrem výsledků z jedenácti odborných oblastí, z nichž každá má stejnou váhu.
Agent musí nejdřív najít podklady
Nová sada obsahuje 206 úloh od čtrnácti specializovaných partnerů. Zahrnuje například návrh čipů a hardwaru, biologii, finance, právo, materiálový výzkum a vývoj softwaru. Autoři vybírali obory podle své představy o tom, kde bude nejpokročilejší AI v blízké době nejcennější. Neváží je podle podílu na ekonomice a záměrně nepokrývají celou škálu povolání.
Podstatou zkoušky je prostředí, ve kterém se pracuje. Agent nedostane všechny informace rovnou v zadání. Finanční úloha jej například nechá hledat potřebné dokumenty mezi tisíci souborů k transakci. Při návrhu hardwaru má k dispozici profesionální software Siemens NX, v materiálovém výzkumu simulovanou laboratoř. Musí si obstarat podklady a potom s nimi něco udělat.
Výchozí časový limit je osm hodin na úlohu, u některých zadání kratší. SemiAnalysis výsledky průměruje přes tři pokusy. Podle oboru používá buď hodnocení splněno či nesplněno, nebo průběžné bodování dílčích požadavků. Dvanáctiprocentní celkové skóre proto nelze jednoduše převést na počet úplně vyřešených zadání z celkových 206.
Žebříček porovnává modely spolu s jejich aplikacemi
První trojici v celkovém přehledu GDPx 1.0 tvoří následující modely. Jde o měření SemiAnalysis v této sadě úloh; tabulka uvádí také aplikaci, přes kterou agent dostával nástroje a pracoval s prostředím.
| Model | Agentní aplikace | Celkové skóre GDPx |
|---|---|---|
| Claude Opus 5.5 | Claude Code | 12,0 % |
| Gemini 4 Carbon | Antigravity | 10,9 % |
| GPT-6 Astra | Codex | 9,6 % |
Metodika říká, že přednost má vlastní agentní aplikace výrobce. Kde taková aplikace není, použili autoři OpenCode. Způsob práce tedy nebyl pro všechny modely totožný. Výsledek zahrnuje schopnosti modelu i to, jak mu okolní aplikace zpřístupňuje nástroje a pomáhá řídit delší úkol.
Rozdílné agentní aplikace patří také mezi výhrady, které shrnuje The Decoder. Upozorňuje na malé počty úloh v jednotlivých oblastech i omezenou možnost ověřit jejich obtížnost zvenku. Zveřejněné ukázky dávají představu o práci, kterou sada požaduje, ale nezpřístupňují celý test.
Ochranné filtry mění pořadí
SemiAnalysis sama zdůrazňuje vliv bezpečnostních mechanismů poskytovatelů. V některých úlohách model narazí na ochranný filtr a práci odmítne. To snižuje celkové skóre, přestože odmítnutí a nezvládnutí odborného problému mají jinou příčinu.
Autoři proto zveřejnili i přehled bez kyberbezpečnosti, biologie a oblasti zkoumající dodržování požadovaných pravidel chování. V takto zúženém srovnání se podle jejich výsledků před Opus dostává GPT-6 Astra. Změnou vybraných oblastí se tedy změní i vítěz. Pro konkrétní použití je potřeba číst příslušný obor, ne pouze první řádek společné tabulky.
Uzavření většiny zadání má přitom i metodický důvod: omezuje možnost naučit model odpovědi přímo na testové otázky. The Decoder tuto výhodu uvádí vedle horší vnější kontroly hodnocení. Obě vlastnosti jsou součástí stejného rozhodnutí ponechat zkoušku neveřejnou.
U částí hodnocení se navíc používají jazykové modely posuzující výsledek podle stanovených kritérií. Samotná známka tak nedokládá kvalitu celého hotového pracovního výstupu. GDPx nabízí vedle souhrnu členění podle oblastí a ukázky průběhu práce agentů; právě tam lze hledat, zda model chybuje při shánění podkladů, používání nástrojů, nebo při samotném řešení.