Artificial Analysis přesunula většinu váhy svého indexu na neveřejné testy
Pátá revize žebříčku přidává programátorské úlohy hodnocené podle přijatelnosti navržené změny a vědeckou práci v terminálu. Šedesát procent výsledku nyní vychází ze skrytých zadání nebo odpovědí, což omezuje ověřování zvenčí.
Artificial Analysis zveřejnila 27. října Intelligence Index v5, nové složení svého souhrnného hodnocení jazykových modelů. Neveřejná zadání nebo utajené správné odpovědi teď tvoří 60 % jeho váhy. Smyslem je omezit situace, kdy se model při trénování setká s otázkami, které ho pak mají nezávisle prověřit.
Změnil se ovšem i obsah zkoušky. Do výsledku vstupuje více práce agentů, tedy programů, které s pomocí modelu samy používají nástroje a dokončují úkoly. Nové pořadí proto vypovídá o jiné směsi schopností než předchozí revize. Samotný posun skóre mezi verzemi indexu nedokládá, že se tentýž model zhoršil.
Programátorská úloha musí obstát i před správcem projektu
Nově zařazený FrontierCode 2.0 od firmy Cognition obsahuje 132 úloh ve skutečných veřejných repozitářích. Hodnocení se ptá, zda by správce projektu navrženou změnu přijal. Pokud řešení nesplní některou z podmínek, které přijetí blokují, dostane nulu. Artificial Analysis uvádí, že každou úlohu spouští třikrát ve vlastním prostředí pro agenty Stirrup. Zadání zůstávají neveřejná.
Druhou novou sadou je Terminal-Bench-Science se 70 úlohami vědecké práce v terminálu. Agent v něm zadává příkazy a pracuje se soubory. Úkoly připravují a kontrolují odborníci; úspěch vyžaduje splnění všech testů dané úlohy. Taková zkouška zahrnuje i práci s nástroji a dotažení výsledku, takže měří něco jiného než odpověď na izolovanou otázku.
Obě nové sady mají v celkovém výsledku po 15 %. Celý index tvoří devět hodnocení rozdělených do čtyř stejně těžkých oblastí. Podíly podle zveřejněné metodiky v5 vypadají takto:
| Oblast | Podíl | Zařazené testy |
|---|---|---|
| Práce s dokumenty a kancelářské úlohy | 25 % | AA-Briefcase, AutomationBench-AA, GDP.pdf |
| Programování | 25 % | FrontierCode 2.0, Terminal-Bench 4.0 |
| Vědecké úlohy | 25 % | Terminal-Bench-Science, obtížná část CritPt v2 |
| Obecné schopnosti | 25 % | AA-Omniscience v1.1, HLE-Diamond |
HLE-Diamond nahrazuje Humanity’s Last Exam a má tisíc otázek, napůl znalostních a napůl zaměřených na uvažování. U AA-Omniscience firma opravila také nejednoznačné či chybné otázky. Ze souhrnného indexu naopak vyřadila GDPval-AA v2.1, SciCode a AA-LCR v1.1. Změna se tedy neomezuje na schování dosavadních zadání.
Skryté otázky chrání test před nácvikem, ale také před kontrolou
Výzkumník Nathan Lambert v samostatném rozboru nové metodiky považuje posun k neveřejným testům za obhajitelný, upozorňuje však na jeho cenu: komunita nemůže tak snadno hledat vadné otázky a tlačit na jejich opravu. Zájemce o výsledek musí více důvěřovat autorovi zkoušky. Právě opravy otázek v AA-Omniscience ukazují, že bezchybné zadání není samozřejmost.
Lambert také odmítá vysvětlovat rozdíly mezi modely pouze trénováním na známé testy. Podle něj záleží na šíři schopností i na tom, jak blízko mají prostředí použitá při trénování k hodnoceným úlohám. Volba a váha testů přitom odrážejí představu jejich autora o tom, co má dobrý model zvládat. Také rozbor Trending Topics připomíná, že utajení části dat omezuje možnost nezávisle prověřit výsledky.
Výsledek závisí i na nastavení stejného modelu
Artificial Analysis v oznámení ukazuje rozdíl na Claude Opus 5.5. Při nízké míře výpočetního úsilí naměřila v indexu v5 skóre 35, při nastavení max skóre 58. Jde o dvě nastavení téhož modelu v téže revizi hodnocení. Číslo bez údaje o nastavení by ten rozdíl skrylo.
Pro srovnávání vývoje v čase firma souběžně uvedla samostatný Progress Index v1. Ten staví modely vydané od listopadu 2022 na jednu průběžnou stupnici. Intelligence Index má podle Artificial Analysis dál sloužit především k porovnání modelů pro dnešní úlohy. Firma tak sama rozlišuje dvě otázky: který model si vybrat teď a jak se schopnosti měnily během let.