InternLM vydal tři modely, které odpověď nevypisují, ale odečítají ji z logitů
InternLM zveřejnil 26. září 2026 tři modely Intern-Decision doladěné z Qwen3.5. Nevypisují text: obsluha jim předloží kostru odpovědi se zástupnými značkami a model v jediném průchodu odečte pravděpodobnosti povolených odpovědí. Z vah přitom zmizel celý blok pro předpověď více tokenů dopředu, u čtyřmiliardové verze přesně 120 599 552 parametrů.
Skupina InternLM, která má na GitHubu jako sídlo uvedenou Čínu, zveřejnila 26. září 2026 tři modely řady Intern-Decision o velikostech 0,8, 2 a 4 miliardy parametrů. Chatovací modely to nejsou. Na vstupu berou popis situace, seznam pojmenovaných otázek s vyjmenovanými možnostmi a nepovinně obrázky; na výstupu vracejí ke každé otázce rozdělení pravděpodobností. Žádná věta u toho nevznikne.
Odpověď se čte před značkou, ne za ní
Postup je na kartě modelu rozepsaný krok za krokem. Obsluha složí celou odpověď dopředu jako kostru JSONu a do každého pole vloží zástupnou značku <decision>. Povolené odpovědi přemapuje na jednopísmenné symboly A až Z, a až z a 0 až 9. Pak pustí jediný průchod sítí a u každé značky si přečte logity na pozici těsně před ní. Logit je surové číslo, které model přiřadí tokenu dřív, než se z něj stane pravděpodobnost. Přes ně se pustí softmax omezený jen na symboly, které u té otázky přicházejí v úvahu, a výsledek se přepočítá kalibrací.
Volání generate() se nepoužije ani jednou a správná odpověď se do vstupu nikdy nedostane; podle repozitáře se objevuje jen v trénovacích štítcích. Všechna pole se přitom vyhodnotí v tomtéž průchodu. Jeden dotaz smí mít jednu až šestnáct otázek, u každé nejvýš 62 možností, nejvýš osm obrázků a celkem 8 192 tokenů. Delší vstup obsluha odmítne, nezkracuje ho.

Na měření to je znát. Na jedné RTX 4090 uvádí InternLM průměrnou dobu jednoho dotazu 33,98 ms u nejmenšího modelu, 33,28 ms u dvoumiliardového a 44,16 ms u čtyřmiliardového. V devadesáti pěti procentech případů se čtyřmiliardová verze vešla do 44,60 ms, tedy o necelý půl milisekundy víc než průměr. Placený model Jev od firmy TypeSafe AI, se kterým se InternLM poměřuje, má v téže tabulce průměr 109,70 ms.
Z vah zmizela hlava na předvídání
Všechny tři modely jsou doladěné ze série Qwen3.5 od Alibaby a vycházejí pod licencí Apache 2.0; původní licenci Qwenu repozitář vede zvlášť v souboru LICENSE-QWEN, a je to rovněž Apache 2.0. Obrazovou část a projektor nechal InternLM podle repozitáře zmrazené, doladil jen jazykovou páteř.
Rozhraní Hugging Face u obou repozitářů vypisuje počet parametrů odečtený přímo ze souborů vah, takže se dá porovnat. Qwen3.5-4B má 4 659 865 088 parametrů, Intern-Decision-4B jich má 4 539 265 536, tedy o 120 599 552 méně. Mapa tenzorů říká, kde ten rozdíl je: v odvozenině chybí patnáct tenzorů, jejichž jméno začíná na mtp, a nic jiného. Je to celý blok pro předpověď více tokenů dopředu, kterým Qwen zrychluje psaní textu. Součet jejich tvarů z hlaviček souborů vah dá 120 599 552 přesně, takže rozdíl vysvětluje beze zbytku. U dvoumiliardové verze jde o 60 828 160 parametrů a u nejmenší o 20 452 864, pokaždé o týchž patnáct tenzorů.
Dává to smysl u modelu, který nic nepíše. Proč blok odstranil, vydavatel neuvádí. Soubor config.json přitom jednu vrstvu mtp dál deklaruje.
Měření proběhlo na veřejné polovině sady
InternLM uvádí u čtyřmiliardové verze průměrnou přesnost 90,02 % přes sedm testovacích sad proti 88,74 % u modelu Jev. Tři z těch sad pocházejí z JevBenche, testu pro rozhodovací modely, který pod licencí MIT vede projekt Benchmark Heaven a který sám uvádí, že s TypeSafe AI nemá nic společného.
Návod na zopakování měření v repozitáři InternLM vypisuje i počty řádků: obtížná část má 111 položek. JevBench má obtížnou úroveň postavenou z 220 rozhodnutí, z nichž je 111 veřejných a 109 zapečetěných. Měřilo se tedy na té veřejné polovině, o které autor benchmarku v jeho popisu píše, že se na ní dá trénovat nebo podle ní vybírat. Verzi JevBenche neuvádí karta modelu ani manifest testovacích sad; ten vede jen adresu repozitáře a otisky souborů. Benchmark přitom vydal za týden od svého vzniku pět číslovaných verzí a na jeho žebříčku, kde je 93 systémů, Intern-Decision zatím není.
Žebříček navíc neřadí podle přesnosti. Skládá se ze čtyř os, ve kterých má stejnou váhu i kalibrace, rychlost a cena za tisíc rozhodnutí, a vede ho model decider-4b v2 se skóre 64,13 před Jevem 1.13.0 s 63,29. Čísla z karty Intern-Decision se s tímhle pořadím porovnávat nedají.
Na druhou stranu InternLM nezveřejnil jen tabulku. V repozitáři jsou všechny testovací sady s otisky SHA-256, manifest s uvedením původu každé z nich, hodnoticí kód i postup, jak výsledky zopakovat. Kalibrační teplotu 1,99241824 nese karta včetně metody, jakou vznikla: minimalizací záporné věrohodnosti na 1 728 kalibračních případech s 1 693 oddělenými ověřovacími. Repozitář sám upozorňuje, že protokoly jednotlivých tabulek se liší, a že výsledky z druhého způsobu odvozování se mají uvádět jako jiné nastavení. To je víc, než kolik u vydání modelu bývá.
Co ta čísla vydrží, ukáže až běh na zapečetěné polovině, na který InternLM sám nedosáhne. Zajímavější než pořadí je stejně ten způsob odvozování: klasifikace, kterou dnes spousta provozů kupuje jako službu po tokenech, se tady vejde do jedné herní karty a do zlomku vteřiny.