Gemini 4 Carbon vychází v odhadu MathAreny téměř patnáctkrát dráž než GPT-6.1 Sol
Gemini 4 Carbon vede v listopadovém porovnání MathAreny s odhadovanou úspěšností 85,4 procenta. Odhad nákladů na úlohu ale činí 15,70 dolaru proti 1,07 u GPT-6.1 Sol. Výzkumníci zveřejňují také nastavení nástrojů a nejistotu výsledků.

Výzkumníci z laboratoře SRI na ETH v Curychu a institutu INSAIT doplnili 13. listopadu do MathAreny výsledky Gemini 4 Carbon a Claude Fable 5.2. V souhrnném žebříčku obsadily první dvě příčky. Vedle úspěšnosti ale tabulka ukazuje i odhad nákladů na jeden pokus o vyřešení úlohy. Carbon v něm vychází na 15,70 dolaru, třetí GPT-6.1 Sol na 1,07 dolaru.
Google zpřístupnil Carbon 10. listopadu a popisuje ho jako model pro náročné úkoly, který při hledání a ověřování řešení spotřebuje více tokenů než Gemini 4 Argon. Tokeny jsou jednotky, na něž model rozděluje zpracovávaný obsah. Jejich počet rozhoduje o účtu za rozhraní API. Právě matematické úlohy teď nabízejí příklad, jak se cena za jednotku přenáší do ceny celé práce.
Za rozdílem 4,8 bodu je téměř patnáctinásobný účet
Přehled modelů ověřený 16. listopadu 2026 uvádí následující hodnoty. Procenta jsou odhadem souhrnné úspěšnosti, dolary odhadem nákladů na jeden pokus u jedné úlohy. Značka ± zachovává zveřejněnou nejistotu; u úspěšnosti je vyjádřena v procentních bodech.
| Model a úroveň uvažování | Odhad úspěšnosti | Odhad nákladů na úlohu v USD |
|---|---|---|
| Gemini 4 Carbon, high | 85,4 % ± 3,0 bodu | 15,70 ± 1,33 |
| Claude Fable 5.2, max | 82,8 % ± 5,3 bodu | 40,20 ± 2,59 |
| GPT-6.1 Sol, max | 80,6 % ± 2,7 bodu | 1,07 ± 0,018 |
Rozdíl středních hodnot Carbonu a Solu činí 85,4 − 80,6 = 4,8 procentního bodu. Poměr jejich odhadovaných nákladů je 15,70 ÷ 1,07 ≈ 14,7. Jde o porovnání v této sadě matematických úloh a při uvedeném nastavení. Není to násobek ceny libovolné odpovědi v chatu.
U Fable 5.2 jsme už popsali náklady v testech Artificial Analysis. Tam šlo o jiný soubor zkoušek. Částku z něj proto nelze zaměnit s hodnotou MathAreny ani z rozdílu těchto částek odvozovat zdražení služby.
Část výsledků žebříček odhaduje
MathArena zkouší modely na matematických soutěžích, olympiádách a výzkumných problémech. Podle popisu projektu spouští každou úlohu čtyřikrát a uvádí průměrné skóre. Nová zadání mají omezit riziko, že model odpověď zná z trénovacích dat.
Souhrnný ukazatel však není pouhým součtem dokončených zkoušek. Metodika pod hlavní tabulkou přiděluje každé otázce stejnou váhu. Kde výsledky existují, používá průměr pozorovaných skóre včetně nul a částečně správných odpovědí. Chybějící výsledky doplňuje statistickým odhadem, který pracuje se schopností modelu a obtížností otázky.
Také náklady jsou váženým průměrem podle počtu úloh v jednotlivých sadách. Chybějící údaje projekt dopočítává z dostupných nákladů; sady označené jako zastaralé a Project Euler do tohoto cenového souhrnu nezahrnuje. Odhad tedy není dokladem, že každý uvedený model skutečně prošel každou otázkou. Pořadí podle střední hodnoty navíc nejistotu neruší: rozpětí úspěšnosti Carbonu a Fable se překrývají.
Stejná sazba za token nezajistí stejný účet
Stránky s nastavením ukazují i rozdíly v nástrojích. Carbon běžel přes Gravity 1.5.5 s úrovní uvažování high, Sol přes Codex 0.159.0 s úrovní max a Fable přes Claude Code 2.1.321, rovněž na max. Tyto úrovně řídí úsilí věnované řešení. Shodný název úrovně u různých výrobců sám o sobě nezaručuje shodný rozpočet.
U Carbonu a Solu počítají profily se základní sazbou 2 dolary za milion vstupních a 10 dolarů za milion výstupních tokenů. Google stejné zaváděcí ceny uvádí ve svém oznámení. Profil Solu ale rozlišuje i dražší zpracování požadavků nad 272 tisíc vstupních tokenů; oba profily navíc zvlášť oceňují čtení z mezipaměti. Samotné dvě základní sazby tak výslednou částku nepopisují.
U konkrétních sad lze vidět podstatně jiný odstup než v souhrnu. V zářijovém ArXivLean má Carbon uvedenou úspěšnost 62,26 % a náklady 45,11 dolaru na pokus, Sol 35,85 % a 1,16 dolaru. Kdo vybírá model pro určitou matematickou práci, najde na stránkách obou modelů tyto dílčí výsledky i s nejistotou skóre. Repozitář MathAreny navíc zveřejňuje kód hodnocení a odkazuje na uložené výstupy. Vysvětluje také, že náklady počítá ze spotřeby tokenů a cen zapsaných v nastavení modelu.
Zdroje
- MathArena: oznámení z 13. listopadu a metodika souhrnných odhadů
- MathArena: pořadí, odhadovaná úspěšnost a náklady s nejistotou
- MathArena: nastavení a dílčí výsledky Gemini 4 Carbon
- MathArena: nastavení a dílčí výsledky GPT-6.1 Sol
- MathArena: nastavení Claude Fable 5.2
- SRI Lab: kód hodnocení, výstupy a způsob výpočtu nákladů
- Google: dostupnost Gemini 4 Carbon a zaváděcí sazby z 10. listopadu