Model GPT-6 Astra zvládl sedm pokusů ze sta v testu s robotickými rameny
Zkouška StationeryBench dala dvěma modelům stejná dvouramenná ramena a pět úloh z psacího stolu. GPT-6 Astra od OpenAI splnil zadání v sedmi pokusech ze sta, MolmoAct2 od Ai2 ani v jednom. Ve 47 pokusech se přitom ramena pod MolmoAct2 vůbec nehnula z výchozí polohy.
Firma Robocurve zveřejnila 10. září 2026 měření StationeryBench: pět úloh s kancelářskými potřebami, dvoje robotická ramena a dva modely, které je ovládaly. Za OpenAI nastoupil GPT-6 Astra, za institut Ai2 model MolmoAct2. Dvě stě pokusů, u každého hodnotil člověk, jak daleko se robot dostal.
Výsledek v jedné větě: Astra splnil celé zadání sedmkrát ze sta pokusů, MolmoAct2 ani jednou. Průměrný postup vyšel 46 bodů ze sta proti dvanácti.
Pět úloh z psacího stolu
Úlohy jsou schválně banální: sundat víčko z popisovače, nasypat kancelářské sponky do nadzvednuté misky, podat pravítko z jednoho kelímku do druhého mezi rameny, vytáhnout prostřední bloček ze stohu lepicích lístků a otevřít krabici, vyndat gumu a zavřít víko. Každá úloha měla pevně danou scénu a dvacet opakování na model.
Hodnotí se po pětadvaceti bodech: nula za nic účelného, 25 za záměrný dotek předmětu, 50 za jistý úchop, 75 za zvládnutou hlavní manipulaci a sto za splněné zadání. Známkoval člověk z videa.
Obě strany dostaly stejná dvouramenná ramena YAM, tři pohledy kamer (shora a z obou zápěstí) a zmenšený obraz 224×224 bodů. Prostředí obstaral nástroj Inspect Robots ve verzi 0.58.0. Astru řídila agentní politika v režimu medium s rozpočtem dvaceti volání modelu na jeden běh, MolmoAct2 běžel přes vlastní server jako model typu VLA, tedy takový, který z obrazu a pokynu rovnou počítá pohyby ramen.
Kde se čísla rozešla nejvíc
| Úloha | Astra | MolmoAct2 |
|---|---|---|
| Sundat víčko z popisovače | 62 bodů, 5 z 20 splněno | 25 bodů, 0 z 20 |
| Nasypat sponky do misky | 51 bodů, 0 z 20 | 18 bodů, 0 z 20 |
| Podat pravítko mezi rameny | 46 bodů, 1 z 20 | 16 bodů, 0 z 20 |
| Vytáhnout prostřední bloček | 34 bodů, 1 z 20 | 0 bodů, 0 z 20 |
| Otevřít krabici a vyndat gumu | 34 bodů, 0 z 20 | 0 bodů, 0 z 20 |
Nejlíp dopadla ta nejjednodušší úloha. Nasypat sponky do misky nezvládl ani jednou nikdo – Astra se ve většině pokusů dostal k úchopu a k nadzvednutí misky, ale sponky skončily vedle.
Ve 47 pokusech se ramena nehnula
Nula u MolmoAct2 není pokaždé nepovedený pokus. Ve 47 pokusech ze sta zůstala ramena celý běh ve výchozí poloze – autoři to měří tak, že se součet rozsahu kloubů udržel pod jedním radiánem. Patří tam všech dvacet pokusů u lepicích lístků a všech dvacet u krabice s gumou. Robot tedy nezačal, místo aby neuspěl.
Zpráva si to vysvětluje sama a přiznává to nahlas: MolmoAct2 běžel bez doladění na tyhle úlohy, s vydaným kontrolním bodem allenai/MolmoAct2-BimanualYAM. Ai2 na kartě modelu píše, že je doladěný na směs záznamů z dvouramenných YAM, ne že zvládne libovolnou scénu. Autoři měření k tomu dodávají, že týž kontrolní bod na týchž strojích úlohy z vlastní trénovací sady zvládá, a scény s jediným drobným předmětem na holém stole podle nich leží mimo to, co model viděl.
Jinými slovy: srovnává se obecný agent, který si sáhne na cokoli, se specializovaným modelem mimo jeho obor. To čísla vysvětluje, neruší je ale – rozdíl mezi 46 a 12 body je naměřený, jen se nesmí číst jako pořadí schopností v robotice obecně.
Jeden pokus za dolar a půl
Robocurve u Astry vede i účet. Jeden běh spotřeboval 12,6 až 19,4 volání modelu a 2 358 až 3 206 výstupních tokenů, což při ceníkových 10 $ za milion vstupních a 50 $ za milion výstupních tokenů dělá 1,21 až 1,93 $ na pokus. Ceny za tokeny u tohohle modelu mají vlastní záludnost s prahem, tady se ale rozpočet dvaceti volání do dražšího pásma nedostane.
Sto pokusů tedy stálo dvacetkrát součet těch pěti sazeb, tedy 20 × 8,12 $ = 162,40 $. Na jedno splněné zadání z toho vychází zhruba 23 $. Je to náš dopočet z čísel v tabulce zprávy, ne údaj, který by tam stál. U MolmoAct2 se náklady neuvádějí vůbec, protože běžel na vlastním stroji.
Co zpráva přiznává o vlastním měření
Oddíl s omezeními je na tom textu to zajímavější. Hodnotitel věděl, který model zrovna běží, takže známkování je otevřené nevědomému sklonu. A oba modely neměly stejně dlouho: agentní běh měl strop 900 kroků, VLA 1 200. Že to odpovídá 90 a 120 sekundám, stojí až v repozitáři StationeryBench, který Robocurve vydal pod licencí MIT.
Tentýž repozitář vypisuje i rozdíly mezi zveřejněnou zprávou a balíčkem, který si může stáhnout kdokoli: zpráva známkovala stupeň 0 až 4 z videa, kdežto balíček zaznamená jen binární verdikt obsluhy a částečný výsledek počítá jako neúspěch. Kdo si měření zopakuje, dostane tedy jinak zrnitá data než ta v grafech.
Zveřejněná jsou přitom všechna: přepisy, videa a soubory ke spuštění u každého ze dvou set pokusů. To je proti běžnému žebříčku podstatný rozdíl – u výsledků na Hugging Face nejde zpravidla ověřit ani to, kdo je naměřil.