Přeskočit na obsah
0 komentářů Čísla 3 min čtení

Gemini 4 Carbon vychází v odhadu MathAreny téměř patnáctkrát dráž než GPT-6.1 Sol

Gemini 4 Carbon vede v listopadovém porovnání MathAreny s odhadovanou úspěšností 85,4 procenta. Odhad nákladů na úlohu ale činí 15,70 dolaru proti 1,07 u GPT-6.1 Sol. Výzkumníci zveřejňují také nastavení nástrojů a nejistotu výsledků.

Křídou popsaná tabule s matematickými vztahy z kryptografie
Matematické vztahy z kryptografie na univerzitní tabuli. Ilustrační snímek, zmenšeno. Foto: David Malone, Wikimedia Commons (CC BY 4.0)

Výzkumníci z laboratoře SRI na ETH v Curychu a institutu INSAIT doplnili 13. listopadu do MathAreny výsledky Gemini 4 Carbon a Claude Fable 5.2. V souhrnném žebříčku obsadily první dvě příčky. Vedle úspěšnosti ale tabulka ukazuje i odhad nákladů na jeden pokus o vyřešení úlohy. Carbon v něm vychází na 15,70 dolaru, třetí GPT-6.1 Sol na 1,07 dolaru.

Google zpřístupnil Carbon 10. listopadu a popisuje ho jako model pro náročné úkoly, který při hledání a ověřování řešení spotřebuje více tokenů než Gemini 4 Argon. Tokeny jsou jednotky, na něž model rozděluje zpracovávaný obsah. Jejich počet rozhoduje o účtu za rozhraní API. Právě matematické úlohy teď nabízejí příklad, jak se cena za jednotku přenáší do ceny celé práce.

Za rozdílem 4,8 bodu je téměř patnáctinásobný účet

Přehled modelů ověřený 16. listopadu 2026 uvádí následující hodnoty. Procenta jsou odhadem souhrnné úspěšnosti, dolary odhadem nákladů na jeden pokus u jedné úlohy. Značka ± zachovává zveřejněnou nejistotu; u úspěšnosti je vyjádřena v procentních bodech.

Model a úroveň uvažováníOdhad úspěšnostiOdhad nákladů na úlohu v USD
Gemini 4 Carbon, high85,4 % ± 3,0 bodu15,70 ± 1,33
Claude Fable 5.2, max82,8 % ± 5,3 bodu40,20 ± 2,59
GPT-6.1 Sol, max80,6 % ± 2,7 bodu1,07 ± 0,018

Rozdíl středních hodnot Carbonu a Solu činí 85,4 − 80,6 = 4,8 procentního bodu. Poměr jejich odhadovaných nákladů je 15,70 ÷ 1,07 ≈ 14,7. Jde o porovnání v této sadě matematických úloh a při uvedeném nastavení. Není to násobek ceny libovolné odpovědi v chatu.

U Fable 5.2 jsme už popsali náklady v testech Artificial Analysis. Tam šlo o jiný soubor zkoušek. Částku z něj proto nelze zaměnit s hodnotou MathAreny ani z rozdílu těchto částek odvozovat zdražení služby.

Část výsledků žebříček odhaduje

MathArena zkouší modely na matematických soutěžích, olympiádách a výzkumných problémech. Podle popisu projektu spouští každou úlohu čtyřikrát a uvádí průměrné skóre. Nová zadání mají omezit riziko, že model odpověď zná z trénovacích dat.

Souhrnný ukazatel však není pouhým součtem dokončených zkoušek. Metodika pod hlavní tabulkou přiděluje každé otázce stejnou váhu. Kde výsledky existují, používá průměr pozorovaných skóre včetně nul a částečně správných odpovědí. Chybějící výsledky doplňuje statistickým odhadem, který pracuje se schopností modelu a obtížností otázky.

Také náklady jsou váženým průměrem podle počtu úloh v jednotlivých sadách. Chybějící údaje projekt dopočítává z dostupných nákladů; sady označené jako zastaralé a Project Euler do tohoto cenového souhrnu nezahrnuje. Odhad tedy není dokladem, že každý uvedený model skutečně prošel každou otázkou. Pořadí podle střední hodnoty navíc nejistotu neruší: rozpětí úspěšnosti Carbonu a Fable se překrývají.

Stejná sazba za token nezajistí stejný účet

Stránky s nastavením ukazují i rozdíly v nástrojích. Carbon běžel přes Gravity 1.5.5 s úrovní uvažování high, Sol přes Codex 0.159.0 s úrovní max a Fable přes Claude Code 2.1.321, rovněž na max. Tyto úrovně řídí úsilí věnované řešení. Shodný název úrovně u různých výrobců sám o sobě nezaručuje shodný rozpočet.

U Carbonu a Solu počítají profily se základní sazbou 2 dolary za milion vstupních a 10 dolarů za milion výstupních tokenů. Google stejné zaváděcí ceny uvádí ve svém oznámení. Profil Solu ale rozlišuje i dražší zpracování požadavků nad 272 tisíc vstupních tokenů; oba profily navíc zvlášť oceňují čtení z mezipaměti. Samotné dvě základní sazby tak výslednou částku nepopisují.

U konkrétních sad lze vidět podstatně jiný odstup než v souhrnu. V zářijovém ArXivLean má Carbon uvedenou úspěšnost 62,26 % a náklady 45,11 dolaru na pokus, Sol 35,85 % a 1,16 dolaru. Kdo vybírá model pro určitou matematickou práci, najde na stránkách obou modelů tyto dílčí výsledky i s nejistotou skóre. Repozitář MathAreny navíc zveřejňuje kód hodnocení a odkazuje na uložené výstupy. Vysvětluje také, že náklady počítá ze spotřeby tokenů a cen zapsaných v nastavení modelu.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. U sebe doma

    Pronájem GPU pro LightOnOCR-3 vyšel v testu pod deset centů za tisíc stran

    Daniel van Strien porovnal osm modelů pro rozpoznávání textu na 850 stránkách. LightOnOCR-3 vyšel na necelých deset amerických centů za tisíc stran, počítáno pouze z…

  2. Modely

    Google účtuje za Gemini 4 Neon víc než za zlevněný Carbon

    Google vydal Gemini 4 Neon pro rozhraní API a placené služby Gemini. Za tokeny si účtuje o polovinu víc než u Carbonu se zaváděcí slevou. Poměr cen se má obrátit 1.…

  3. Čísla

    Rozbor RBA ukazuje horší vývoj zaměstnanosti mladých v profesích vystavených AI

    Ekonom australské centrální banky našel slabší výsledky mladých v povoláních, jejichž úkoly zvládají jazykové modely. Nedokládá tím, že práci vzala AI. Samostatná…

  4. Modely

    Google vydal Gemini Decision 1 pro otázky s předem danými odpověďmi

    Gemini Decision 1 ohodnotí až tisíc otázek nad jedním podkladem, včetně zvuku a videa. Za sdílená data platí aplikace jednou v každém požadavku; výstupní tokeny jsou…