Claude vede podle Anthropicu 26 % jeho vlastního výzkumu umělé inteligence

Laboratoř Anthropic zveřejnila 17. září tři měření, která mají podle ní ukázat veřejnosti, jak rychle uvnitř firmy postupuje vývoj modelů. První z nich je podíl výzkumu, který za lidi odvede Claude. Ke srpnu 2026 vyšel na 26 %.

Firma to zdůvodňuje tím, že se veřejně mluví o zpomalení vývoje na špičce oboru, a k takové úvaze chybí podklady. Vedle podílu automatizované práce proto zveřejnila ještě čísla o dohledu nad vlastními agenty a o tom, kolik výpočetního výkonu spolkne bezpečnostní výzkum. Ani jedno z těch tří čísel zatím nikdo zvenčí nepřepočítal.

Patnáct tisíc úkolů, které vypsal model

Index automatizace vznikl zdola. Anthropic v každém týdnu července 2026 náhodně vybral pětinu lidí z útvarů, které se na stavbě modelů podílejí, a výzkumný agent postavený na Claudovi pak každému z nich prošel ten týden podle záznamů ze Slacku a vnitřní dokumentace. Vyšlo z toho zhruba 15 000 dílčích úkolů. Claude je uspořádal do stromu o 542 uzlech, z nichž 378 jsou listy s názvy jako „diagnostika a opravy vad testovací platformy“ nebo „rozbory incidentů v obsluze provozu“.

Každému uzlu pak přiřadil samostatný hodnotitel – opět Claude – jeden ze šesti stupňů automatizace. Váhu uzlu určil čas lidí: kdo v daném týdnu dělal na čtyřech úkolech, přidal každému z nich čtvrtinu svého týdne. Výsledek zní, že Claude „vede“ 26 % práce, přes 90 % připadá na stupeň „spolupracuje“ a výš a plně samostatně model nepracuje v žádné z měřených oblastí.

Stupnici napsal někdo jiný a sám ji nazval subjektivní

Šest stupňů si Anthropic nevymyslel. Převzal je z textu Toward an O*NET for AI R&D, který 17. června 2026 vydala výzkumná skupina Epoch AI. Ta v něm rozepsala práci ve špičkové laboratoři na víc než šedesát úkolů v šesti kategoriích a ke každému připsala známku od 0 (model se nepoužívá) po 5 (model pracuje samostatně). Stupeň 4, tedy „vede“, znamená: model odvede většinu úkolu od zadání po výsledek, člověk dohlíží, opravuje směr a schvaluje výstup.

Autoři té stupnice k ní ale napsali, že je „samozřejmě dost subjektivní“ a že by se dala hodnotit lépe. Celý text je navíc označený jako komentář, který vyjadřuje názory svých tří autorů, ne stanovisko Epoch AI. Číslo 26 % tedy stojí na měřítku, které jeho tvůrci vydali jako první pokus k připomínkování.

Anthropic si toho je vědom a shodu hodnotitelů si změřil. Vlastní zaměstnanci, kteří dané oblasti práce vedou, ohodnotili míru automatizace sami, aniž viděli podklady modelu. Model se s člověkem trefil do téhož stupně v 59 % případů, dva lidé mezi sebou v 35 %, a o víc než jeden stupeň se hodnocení rozešla ve 3 % případů. Kde přesně končí „spolupracuje“ a začíná „vede“, je podle firmy sporné.

Třicet tisíc agentů a jeden zablokovaný ze 47 tisíc

Druhé měření se týká dohledu. Na nejpoužívanější vnitřní platformě Anthropicu pracovalo v srpnu 2026 v každém okamžiku asi 30 000 agentů. Každý jejich krok prochází před provedením průběžným hlídačem, který nebezpečnou akci zablokuje nebo agenta nasměruje jinam. Z více než miliardy rozhodnutí za srpen 2026 takhle skončilo 0,002 %, tedy zhruba jedno ze 47 000; zablokovanou akci si do týdne prohlédne člověk.

Vedle toho běží zpětný hlídač, který čte záznamy až po činu a hledá pomalu se rozvíjející chování. Ten označí jeden až dva přepisy z tisíce, dohromady asi 100 000 týdně; po přetřídění dalšími klasifikátory doputuje k člověku kolem padesáti. Firma sama píše, že tohle dělá měsíce, ne roky, a že si není jistá úplností obrazu. Její zpětný dohled dříve prověřovala zvenčí organizace METR.

Na bezpečnost šlo šest procent výkonu

Třetí číslo je rozdělení výpočetního výkonu. V týdnu od 13. do 20. července 2026 šlo na bezpečnostní práci asi 6 % výkonu určeného na vývoj a asi 12 % výkonu, který na vývoji spotřebovaly samy modely. Zařazení dělal opět klasifikátor postavený na Claudovi: za bezpečnostní se počítá práce, jejímž převažujícím účelem je bezpečnější, srozumitelnější nebo odolnější systém, a běh, který prospívá schopnostem stejně jako bezpečnosti, spadl do druhé škatulky. Z bezmála deseti tisíc běhů toho týdne firma prošla zhruba 14 %, vybraných tak, aby mezi nimi byly ty největší.

K tomu vypisuje tři výhrady a poslední je nejzávažnější: podíl výkonu měří, co se utratilo, ne kolik práce se udělalo. Rychlejší bezpečnostní klasifikátor podíl srazí dolů, aniž by bezpečnostní práce ubylo. Měření pokrývá jediný týden, což podle firmy stačí na důkaz, že se to změřit dá, ale ne na trend. A štítky, ze kterých se vycházelo, nastavují automatická pravidla nebo rovnou uživatelé a nikdo je neověřuje.

Co by z toho udělalo doložitelný údaj

U každého ze tří čísel firma píše, co by bylo potřeba, aby je někdo zvenčí přepočítal: společná metodika sdílená mezi laboratořemi, zveřejněné definice kategorií a nezávislá strana, která si vezme náhodný vzorek a projede zařazení znovu. U bezpečnostního podílu dodává, že důkazní břemeno má nést vývojář, protože každý bude v pokušení nakreslit si hranici štědře. K tomu opakuje záměr usadit u sebe hodnotitele z několika organizací s přístupem srovnatelným s vlastními týmy pro posuzování rizik.

Zatím ale platí, že úkoly vypsal model, do stromu je uspořádal model, známku jim dal model a běhy do škatulek roztřídil model – všechno od téhož výrobce, jehož práce se měří. Anthropic přitom naznačuje, k čemu by hotová čísla jednou mohla sloužit: navrhuje, aby se z nich stal spouštěč přísnějších pravidel, třeba pevně stanovené zkušební lhůty, než se nový model pustí na další vývoj umělé inteligence.

Zdroje

• Measurements for understanding the pace of AI development inside frontier labs, Anthropic, 17. září 2026
• Toward an O*NET for AI R&D, Epoch AI, 17. června 2026