Ling-3.1-flash od Ant Group zvládne milion tokenů až po ručním zapnutí YaRN

Pod jménem inclusionAI vydává čínský Ant Group své otevřené projekty a 13. října pod ním zveřejnil váhy modelu Ling-3.1-flash. Karta mu připisuje 560 miliard parametrů, z nichž na každý token pracuje 25 miliard, a okno na milion tokenů. Licenci uvádí MIT. Volat se model dal dřív, než šly váhy stáhnout: OpenRouter ho vede od 2. října.

Jméno navazuje na Ling-3.0-flash, o kterém jsme psali v srpnu, protože výsledky testů ukazoval jen v obrázcích. Velikostí je to ale jiný model. Rozhraní Hugging Face napočítá ve vahách předchůdce 127,5 miliardy parametrů, v nové verzi 572,1 miliardy.

Milion tokenů je rozšíření, které musí zapnout provozovatel

Věta o milionu tokenů stojí v úvodu karty bez dalšího vysvětlení. Soubor config.json, podle kterého model načítají servery, ale nastavuje max_position_embeddings na 262 144 a pole rope_scaling nechává prázdné. Stejně dlouhé okno nabízejí oba poskytovatelé, přes které model na OpenRouteru běží, tedy DeepInfra a NovitaAI.

Jak se dostat dál, popisuje kuchařka serveru SGLang, na kterou karta sama odkazuje. Nativní okno má podle ní 262 144 tokenů. Na 1 048 576 ho natáhne YaRN, metoda, která přepočítá polohové kódování RoPE na delší text, než na jaký byl model trénovaný. Zapíná se ručně: při startu serveru se přepíšou čtyři parametry. Když se některý vynechá, podle kuchařky se tiše změní základ polohového kódování, nebo zůstane původní mez. Doporučuje ho jen pro zadání, která se do nativního okna nevejdou.

Že to funguje, kuchařka doložila. Ze zadání o 900 022 tokenech model vytáhl údaj vložený na pozici 700 023 a na zadání o 300 101 tokenech odpověděl správně. U toho kratšího přišel první token na H200 po 15,4 s, na GB300 po 12,6 s. Delší okno tedy existuje, jen ho ani jeden z poskytovatelů na OpenRouteru nezapnul.

Z vah vychází 24,9 miliardy aktivních parametrů

Počet aktivních parametrů uvádějí zdroje různě. Karta a po ní OpenRouter i Artificial Analysis píšou 25 miliard, kuchařka SGLangu asi 17 miliard. Rozhodnout to jde z vah samotných. Hlavička každého z 54 souborů safetensors nese jméno a tvar všech tenzorů, které v něm leží, celkem jich je 214 025. Stačí je přečíst rozsahovými dotazy, váhy se stahovat nemusí.

Model má 72 vrstev. První čtyři jsou husté, zbylých 68 má po 512 expertech a jednom sdíleném. Každého experta tvoří tři matice 1 280 × 4 096, tedy 15 728 640 parametrů, a směrovač jich na token vybere osm: 68 × 8 × 15 728 640 je 8,56 miliardy. Při každém tokenu navíc pracuje všechno mimo vybrané experty – pozornost, sdílení experti, husté vrstvy, směrovače a tabulky slovníku na vstupu i výstupu. To je 16,34 miliardy. Dohromady 24,9 miliardy, takže karta sedí a 17 miliard z vah nevychází.

Víc než polovinu toho dělá pozornost, 13,33 miliardy. Z 72 vrstev jich 63 používá lineární pozornost KDA (Kimi Delta Attention) a devět latentní pozornost MLA. Vrstva KDA má šest projekčních matic a každá z nich 8 192 × 4 096, tedy 33,6 milionu parametrů. Na vrstvu je to 201 milionů, na všech 63 dohromady 12,68 miliardy.

Do 572,1 miliardy se počítá ještě 73. vrstva pro odhad dalších tokenů (MTP), kterou server využívá ke spekulativnímu dekódování. Má 8,17 miliardy parametrů. Bez ní zbude 563,9 miliardy a karta to zaokrouhluje na 560.

Váhy ve formátu FP8 zaberou 573,8 GB

Na Hugging Face jsou váhy jen ve FP8 (E4M3, po blocích 128 × 128), variantu v BF16 inclusionAI do 21. října nezveřejnil. Ve FP8 je uloženo 570,6 miliardy parametrů. V BF16 zůstaly tabulky slovníku a několik menších projekcí. Index souborů udává celkem 573 753 281 152 bajtů.

Osm karet H200 má 8 × 141 GB, tedy 1 128 GB, a po vahách na nich zbude 554 GB pro mezipaměť kontextu a výpočet. Čtyři GB300 mají 4 × 288 GB = 1 152 GB. Tyhle dvě sestavy kuchařka SGLangu ověřila. Osm karet H100 má dohromady 640 GB, po vahách z nich zbude 66 GB. Karta modelu mluví o ověřených postupech i pro H800, H100 a B200, kuchařka ale u všech platforem kromě H200 a GB300 píše, že ověřené nejsou.

Seznam vrstev, které ve FP8 nejsou, se v config.json během prvního týdne měnil třikrát. Při nahrání vah 13. října v něm nebylo nic, 14. října nejdřív jedna položka a o čtyři a půl hodiny později čtrnáct. Poslední úprava z 20. října, nazvaná „Fix FP8 exclusions and MTP cache handling“, jich nechala třináct. Kdo si model stáhl v prvních dnech, má jiný config.json, než jaký leží v repozitáři dnes.

Cena a měření mimo laboratoř

Na OpenRouteru stál model 21. října 0,075 dolaru za milion vstupních a 0,225 dolaru za milion výstupních tokenů, tokeny čtené z mezipaměti 0,015 dolaru. Je to sleva 75 % z ceníkových 0,30, 0,90 a 0,06 dolaru a do kdy platí, stránka neuvádí. DeepInfra model podle OpenRouteru spouští kvantizovaný na fp4, NovitaAI kvantizaci neuvádí. Ling-3.0-flash tam stojí 0,021 a 0,063 dolaru.

Výsledky testů karta znovu ukazuje jen v obrázcích. V textu jmenuje testy, ve kterých si podle ní model vede dobře (Terminal-Bench 4.0, SWE-bench Pro, FrontierSWE, GDPVal-AA), čísla ne. Nezávislé měření zveřejnila Artificial Analysis. V jejím souhrnném indexu verze 4.3.2, složeném z deseti testů, dostal Ling-3.1-flash 41 bodů, medián srovnatelných modelů je 19. Při měření ale vygeneroval 220 milionů tokenů proti mediánu 140 milionů a jedna úloha indexu ho za ceníkové sazby vyšla na dolar. Tatáž firma mu v Terminal-Bench 4.0 naměřila 33,3 %. SGLang uvádí ze všech 1 319 úloh testu GSM8K 97,12 % a na H200 při jednom uživateli 269 tokenů za sekundu.

Licence MIT stojí jen v hlavičce karty

MIT je jedna z nejvolnějších licencí a nemá prahy tržeb ani počtu uživatelů, jaké mají některé jiné čínské modely. Soubor LICENSE ale v repozitáři Ling-3.1-flash není. Licence stojí jen jako štítek license: mit v hlavičce karty, stejně jako u Ling-3.0-flash. Licence MIT přitom žádá, aby se upozornění na autorská práva a její znění přikládaly ke všem kopiím, a ani jedno v repozitáři neleží.

Co v repozitáři je, je odkaz na souhrn trénovacích dat podle aktu o umělé inteligenci. Takové souhrny Ant Group vydal v září k dvaceti svým modelům. Karta zmiňuje i LingCode, obálku pro hodiny trvající programátorské úlohy postavenou na agentovi Pi. Ta zatím nevyšla, firma podle karty jen zvažuje, že ji zveřejní.

Zdroje

• inclusionAI: karta modelu Ling-3.1-flash, config.json a historie revizí, 13.–20. 10. 2026
• Hugging Face: výpis souborů Ling-3.1-flash a Ling-3.0-flash
• SGLang: Ling-3.1-flash cookbook
• OpenRouter: inclusionAI: Ling 3.1 Flash a seznam poskytovatelů, stav 21. 10. 2026
• Artificial Analysis: Ling 3.1 Flash Intelligence, Performance & Price Analysis
• inclusionAI: profil organizace na GitHubu