Žádné vydání vLLM ani SGLangu zatím neumí spustit váhy Kimi K3.1 Pro
Moonshot AI zveřejnil 4. listopadu váhy modelu Kimi K3.1 Pro, které na Hugging Face zabírají 1,56 TB. Licence se od Kimi K3 liší jen jménem modelu. Podporu dostaly vLLM i SGLang zatím jen do hlavních větví, žádné jejich vydání ji k 10. listopadu nemá.

Když Moonshot AI 23. října spouštěl Kimi K3.1 Pro, slíbil, že plné váhy zveřejní do 4. listopadu. Termín dodržel. Oficiální účet Kimi je oznámil 4. listopadu v 16.00 UTC, jak shodně píšou AICoder i Neural Brew. Repozitář moonshotai/Kimi-K3.1-Pro má podle seznamu revizí první verzi souborů už z 2. listopadu ze 4.13 UTC. Stažení nevyžaduje souhlas s podmínkami na Hugging Face.
Soubory mají 1,56 TB a experti jsou stejně velcí jako u K3
Repozitář nese 96 souborů safetensors. Podle velikostí, které vrací rozhraní Hugging Face, mají dohromady 1 561,3 GB. Váhy vyšly rovnou zmenšené: experti jsou uložení ve formátu MXFP4, tedy čtyřmi bity na hodnotu, a podle karty modelu s tím model počítal už při tréninku. Pozornost, sdílení experti a obrazový kodér zůstávají v BF16, upřesňuje recept vLLM.
Model má podle karty 896 expertů, z nichž pro každý token vybírá 16, a k tomu dva sdílené. Kontextové okno je 1 048 576 tokenů. Proti K3 vyměnil Moonshot vrstvy s plnou pozorností Gated MLA za řídkou pozornost převzatou od DeepSeeku (Gated DSA). Ta u dlouhého textu nepočítá se všemi předchozími tokeny, jen s vybranými; recept vLLM jich uvádí 2 048.
Kde se oba modely liší, ukáže pole safetensors v rozhraní Hugging Face. Část uložená v MXFP4 má u K3 i K3.1 Pro přesně 2 722 740 830 208 hodnot. Celý rozdíl 178 526 208 parametrů leží v části v BF16, kde K3.1 Pro má 57 358 410 752 parametrů a K3 57 179 884 544.
Vydané verze vLLM a SGLangu nový model neznají
Karta doporučuje tři obslužné programy, které model zpřístupní přes API: vLLM, SGLang a TokenSpeed. U prvních dvou vznikla podpora K3.1 Pro až po zveřejnění vah a do vydané verze se zatím nedostala.
Poslední vydání vLLM, v0.33.0rc3, je z 2. listopadu a jeho seznam modelů třídu KimiK31ForConditionalGeneration nezná. Do hlavní větve přichází podpora po kusech. Soubory modelu přidal návrh #66030 6. listopadu; podle jeho popisu se s nimi model jen načte, obsluhovat požadavky nedokáže. To umožnily až změny mezipaměti a pozornosti v návrhu #66037, sloučené 9. listopadu. Část pro karty AMD (#65685) byla 10. listopadu pořád otevřená. Recept vLLM proto počítá s verzí 0.34.0, která nevyšla, a v příkazech používá zvláštní obraz Dockeru vllm/vllm-openai:kimi-k31.
U SGLangu je pořadí podobné. Vydání v0.5.23 vyšlo 2. listopadu ve 22.14 UTC, základní podporu K3.1 pro karty Nvidie i AMD sloučil projekt do hlavní větve 4. listopadu. Návod SGLangu k modelu uvádí, že změřené příkazy běžely v obrazu sestaveném z konkrétního commitu a jedné nesloučené změny. Vývojový obraz lmsysorg/sglang:dev-kimi-k31-pro s nimi podle téhož návodu ověřený není.
Repozitář modelu navíc nenese kód pro knihovnu Transformers. U K3 v něm leží soubor modeling_kimi_k3.py a konfigurace modelu na něj odkazuje, u K3.1 Pro soubor chybí a konfigurace vede jen třídu s nastavením. Hlavička karty přitom dál uvádí library_name: transformers.
Rychlejší byl llama.cpp, který vydává sestavení průběžně z hlavní větve. Textovou část modelu přidal návrh #31779 6. listopadu a obsahuje ji třeba sestavení b12246 z 10. listopadu. Obrazový vstup přibyl do hlavní větve týž den návrhem #31980. Na Hugging Face se mezitím objevily komunitní kvantizace ve formátech GGUF, MLX a EXL3; nezkoušeli jsme je.
Recept vLLM počítá s osmi kartami po 268 GB a víc
Pro variantu MXFP4 uvádí recept potřebu paměti 1 874 GB. Výchozí sestava je skupina osmi grafických karet: jeden server s B300, dva moduly GB300 nebo jeden server s osmi MI355X od AMD. Na TPU v7x od Googlu běží model na 16 čipech jen s textem, obrazový kodér se nenačte.
| Sestava | Paměť na kartu | Paměť celkem |
|---|---|---|
| 8× Nvidia B300 (jeden server) | 268 GB | 2 144 GB |
| 8× Nvidia GB300 (dva moduly) | 288 GB | 2 304 GB |
| 8× AMD MI355X (jeden server) | 288 GB | 2 304 GB |
| 8× Nvidia H200, pro srovnání | 141 GB | 1 128 GB |
Poslední řádek mezi sestavami receptu není. Osm karet H200 po 141 GB dá 1 128 GB, tedy méně, než kolik zabírají samotné soubory s vahami. U předchozího K3 vyšla komunitní jednobitová verze s 594 GB, i ta ale chtěla 610 GB paměti.
Licence se od K3 liší jen jménem modelu
Soubor LICENSE se od licence K3 liší ve dvou řádcích: v názvu a ve jménu, které musí velký produkt zobrazovat. Jde o upravenou licenci MIT. Užití, úpravy i prodej dovoluje bez poplatku, velkým firmám ale klade dvě podmínky:
- Kdo provozuje model jako službu, tedy dává třetím stranám přístup k modelu s možností ovlivnit vstupy, parametry nebo trénovací data, a má se svými propojenými firmami za kterýchkoli 12 po sobě jdoucích měsíců tržby přes 20 milionů dolarů, musí před komerčním použitím uzavřít s Moonshotem zvláštní smlouvu.
- Komerční produkt s více než 100 miliony aktivních uživatelů měsíčně nebo s měsíčními tržbami přes 20 milionů dolarů musí v rozhraní viditelně uvádět „Kimi K3.1-Pro“.
Žádná z podmínek neplatí pro interní použití, při kterém se model ani jeho výstupy nedostanou k třetím stranám, ani pro přístup přes oficiální produkty Moonshotu a jeho certifikované partnery. Oba prahy u K3 rozebíral článek o přehledu licencí od Hugging Face.
Z otevřené verze vyřadil Moonshot data o útocích
Podle technického blogu Moonshot pro verzi s otevřenými vahami vyřadil z obou fází tréninku data týkající se kybernetické bezpečnosti. V interním testu xdev-bench-hard, kde model hledá a zneužívá zranitelnosti, vyřešil zveřejněný model 81,0 % úloh a týž postup bez vyřazení dat 90,5 %. Oba výsledky jsou měřené jako pass@3 na náhodném výběru běhů a jde o měření výrobce na jeho vlastním testu, které zatím nikdo nezopakoval.
Zdroje
- Repozitář moonshotai/Kimi-K3.1-Pro, jeho revize a licence, Hugging Face
- Licence Kimi K3, Hugging Face
- Kimi K3.1 Pro Tech Blog, Moonshot AI
- Recept vLLM pro Kimi K3.1 Pro a návrhy #66030 a #66037, projekt vLLM
- Návod SGLangu ke Kimi K3.1 Pro a návrh #48415, projekt SGLang
- Návrh #31779 v llama.cpp, GitHub
- Moonshot Releases Kimi K3.1 Pro Open Weights on Hugging Face, AICoder, 4. listopadu 2026
- Moonshot Releases Kimi K3.1 Pro Weights on Hugging Face, Neural Brew, 4. listopadu 2026