Data žebříčku GIFT-Eval dávají Mistralu i JPMorgan za pravdu jen u jedné ze dvou měr
Mistral 15. října napsal, že jeho nový model Timestral pro předpověď časových řad vede v žebříčku GIFT-Eval mezi předtrénovanými modely v obou měrách chyby. Den nato přibyl do dat žebříčku Morpheus-2.0 od JPMorgan Chase, jehož autoři tvrdí totéž o sobě. Podle výsledkových souborů má Morpheus nižší chybu bodové předpovědi a Timestral nižší chybu té pravděpodobnostní.
Francouzský Mistral AI vydal 15. října Timestral, svou první rodinu modelů pro předpověď časových řad. Takový model dostane historii měření, třeba odečty čidel na čerpadle nebo spotřebu elektřiny po čtvrthodinách, a dopočítá, jak bude řada pokračovat. Timestral vyšel ve čtyřech velikostech od 5 do 209 milionů parametrů. Pracuje s kontextem až 32 768 kroků a místo jediného čísla vrací 21 kvantilů, tedy rozpětí pravděpodobných hodnot. Váhy největší varianty mají na Hugging Face 837 MB.
Podle oznámení je model s 209 miliony parametrů první ve všech třech hlavních veřejných žebříčcích oboru: GIFT-Eval, TIME a fev-bench. Mezi předtrénovanými modely a modely, které testovaná data předem neviděly, má vést „across all five metrics“, tedy ve všech pěti měrách, které ty žebříčky používají. Je to tvrzení výrobce. Ve stejném textu Mistral píše, že výsledky do GIFT-Eval a TIME „have been submitted“, takže je teprve odeslal.
Čísla do žebříčků dodal Mistral sám
GIFT-Eval vede výzkumná skupina Salesforce na GitHubu. Výsledky do něj přibývají návrhem změny: autor modelu spočítá chyby na 97 konfiguracích testovacích dat, přiloží soubor all_results.csv s popisem modelu a správce návrh přijme. Návrh s výsledky Timestralu otevřel 15. října v 15:11 UTC vývojář, který má v profilu na GitHubu jako zaměstnavatele Mistral AI. Správce ho přijal 16. října ve 3:09 UTC. Do žebříčku fev-bench poslal týž účet výsledky 15. října a přijaté byly 16. října v 16:18 UTC.
Takhle se do těch žebříčků dostává každý model a Mistral k číslům přiložil sešit, který je spočítá znovu. Kdo ale v žebříčku čte výsledek Timestralu, čte čísla, která naměřil Mistral. Jestli je někdo zopakoval nezávisle, repozitář neuvádí.
Necelou minutu nato přibyl Morpheus-2.0 od JPMorgan
Hned po Timestralu přijal správce návrh s modelem Morpheus-2.0, který 13. října otevřel jeden z jeho autorů. V popisu záznamu stojí jako organizace JP Morgan Chase a kategorie „pretrained“. Odkaz na model ani na kód záznam nemá a u položky o kódu k zopakování výsledků je „No“.
GIFT-Eval měří dvě chyby. MASE posuzuje bodovou předpověď, tedy medián. CRPS posuzuje celou pravděpodobnostní předpověď včetně toho, jak dobře model odhadl rozptyl. Obě se dělí výsledkem sezónní naivní předpovědi, která jen zopakuje hodnoty z minulého období, a přes 97 konfigurací se z nich bere geometrický průměr. Nižší číslo je lepší a jednička by znamenala, že model naivní opakování nepřekonal. Z výsledkových souborů v repozitáři vycházejí 20. října pro vybrané modely bez doladění na úlohách tato čísla:
| model | kdo ho podal | kategorie | MASE | CRPS |
|---|---|---|---|---|
| Morpheus-2.0 | JP Morgan Chase | pretrained | 0,646 | 0,455 |
| Timestral-209M | Mistral AI | zero-shot | 0,658 | 0,446 |
| Timestral-123M | Mistral AI | zero-shot | 0,659 | 0,448 |
| t0-gamma | The Forecasting Company | pretrained | 0,661 | 0,452 |
| TimesFM-3 | Google Research | zero-shot | 0,667 | 0,456 |
| Chronos-2 | AWS | pretrained | 0,698 | 0,485 |
Mezi 91 záznamy v kategoriích „pretrained“ a „zero-shot“ má Morpheus nejnižší MASE, o 0,012 pod Timestralem (0,658 − 0,646). V CRPS je první Timestral-209M a Morpheus za ním ztrácí 0,009 (0,455 − 0,446) a je až pátý; před ním jsou ještě Timestral-123M, t0-gamma a STRIDE (+Chronos-2). Tvrzení Mistralu o prvenství v obou měrách GIFT-Eval platilo do 16. října do 3:10 UTC. Pořadí v žebříčcích TIME a fev-bench jsme nepřepočítávali.
Práce o Morpheu tvrdí nejnižší chybu v obou měrách
Autoři z JPMorgan Chase zveřejnili práci o modelu na arXivu 16. října ve 23:37 UTC, tedy necelý den poté, co byl Timestral v datech žebříčku. Podle abstraktu má Morpheus-2.0 Multiscale relativní MASE 0,646 a CRPS 0,455, „the lowest of any published system on both metrics“. U MASE to s daty žebříčku souhlasí. U CRPS ne: srovnávací tabulka v práci Timestral ani t0-gamma nevede a oba mají CRPS nižší. Výsledek t0-gamma přibyl do repozitáře 16. října ve 3:07 UTC.
Záznam v žebříčku se jmenuje Morpheus-2.0, jeho čísla ale patří variantě Multiscale. Ta podle práce spojuje pět kodérů po 80 až 84 milionech parametrů a míchací vrstvu s 1,4 milionu parametrů, celkem 413 milionů. Pro každou řadu váží předpovědi pěti modelů a slučuje je. Samostatný Morpheus-2.0 s 81,5 milionu parametrů má podle téže práce MASE 0,685 a CRPS 0,519, takže je horší i než Timestral-28M s 0,678 a 0,461. Mistral naopak u svých čísel zdůrazňuje, že pocházejí z jediného modelu bez skládání více modelů dohromady.
Liší se i kategorie. Morpheus se podle práce trénoval na sadě GIFT-Eval Pretrain, která obsahuje i trénovací část benchmarku, a proto stojí jako „pretrained“. Timestral je „zero-shot“: podle pravidel žebříčku nesmí z GIFT-Eval znát nic. Testovací úseky neviděl ani jeden z nich. Práce mluví o „two released models“, váhy ani jedné varianty jsme ale 20. října na Hugging Face nenašli.
Třetí pohled dává průměrné pořadí, které GIFT-Eval počítá z umístění modelu v jednotlivých úlohách. Web TSFM.ai, který oficiální žebříček zrcadlí, podle něj řadí. Timestral-209M je u něj osmý ze 153 záznamů včetně agentních systémů, Morpheus-2.0 pětapadesátý.
Licence pouští zdarma jen firmy do 20 milionů dolarů měsíčně
V tabulce na konci oznámení stojí u licence jen „Modified MIT“. Soubor LICENSE je u všech čtyř velikostí shodný a v bodě 2 nedovoluje uplatnit žádné právo firmě, jejíž celosvětové konsolidované tržby za předchozí měsíc přesáhly 20 milionů dolarů. Počítají se i tržby zaměstnavatele toho, kdo model používá, a omezení platí i na odvozeniny. Ustanovení se přitom odvolává na „restriction in (b)“, ačkoli je očíslované jako bod 2. Větším firmám Mistral nabízí obchodní licenci nebo provoz modelu na svých službách. Totéž ustanovení má licence vah Mistral Medium 3.5 a Devstral 2 se 123 miliardami parametrů; jak se licence modelů Mistralu liší, je rozepsané u modelu Large 4. Kód pro spuštění na GitHubu je pod Apache 2.0.
Grafickou kartu Timestral podle Mistralu nepotřebuje. Na serverovém procesoru s osmi vlákny trvala předpověď na den dopředu z tří týdnů čtvrthodinových dat 10 ms u nejmenšího modelu a 140 ms u největšího. Typ procesoru oznámení neuvádí.
Zdroje
- Introducing Timestral, oznámení Mistralu z 15. října 2026
- Timestral-209M, karta modelu a licence vah na Hugging Face
- mistralai/timestral, kód pro spuštění na GitHubu
- SalesforceAIResearch/gift-eval, repozitář žebříčku GIFT-Eval s výsledkovými soubory, a návrhy #234 (Timestral) a #232 (Morpheus-2.0)
- Add Timestral wrapper and fev-bench results, návrh v repozitáři fev-bench
- Morpheus-2.0: Multiscale Probabilistic Forecasting with Dual-Axis Attention, arXiv, 16. října 2026
- GIFT-Eval Leaderboard, zrcadlo žebříčku na TSFM.ai
- Mistral AI Releases Timestral, Marktechpost, 18. října 2026