Tencentův Hy-Memory vede před Claude Opus 5 o 0,87 bodu na pětinovém vzorku testů

Tencent zveřejnil 15. října na Hugging Face model Hy-Memory-30B-A3B a týž den k němu vydal technickou zprávu na arXivu. Na konverzaci ten model není. Dělá jedinou věc, zápis do dlouhodobé paměti agenta. V rámcích Mem0, MemOS a Tencentově Hy-Memory, tedy v knihovnách, které agentům ukládají fakta mimo kontextové okno, nahrazuje obecný jazykový model. Rozhoduje, co si systém z rozhovoru uloží, jak přesně to zapíše a kdy nový údaj přepíše starý. Vyhledání záznamu a odpověď nad ním dál obstarávají jiné modely.

Podle rozhraní Hugging Face má model 30 064 725 888 parametrů. Je to směs expertů: ze 128 expertů v každé vrstvě se na token zapojí osm a k nim jeden sdílený, takže na token počítá podle karty zhruba tři miliardy parametrů. Odtud „A3B“ ve jménu.

Náskok před Opus 5, který zpráva sama nazývá shodou

Hlavní tabulka karty porovnává sedm modelů v roli zapisovače. Rámec, pokyny, vyhledávání, odpovídající model i hodnotitel zůstávají stejné a mění se jen to, kdo paměť píše. Hy-Memory-30B-A3B v ní má průměr 55,49 bodu, Claude Opus 5 54,62 a DeepSeek V4.1 Flash 53,64. Každý ze čtyř rámců váží stejně a v každém se průměruje šest testů, mezi nimi LoCoMo, LongMemEval a test paměti při programování Code Memory Bench.

Náskok 0,87 bodu je rozložený nerovnoměrně. V Mem0 dělá 0,60 bodu, v Hy-Memory 0,02 a v MemOS 0,01. Zbytek přidává EverMemOS, rámec, na kterém se model netrénoval: tam vede o 2,86 bodu, což po vydělení čtyřmi rámci dává 0,72 bodu z celkových 0,87. Plné znění zprávy k tomu samo píše, že rozdíly o setiny bodu v MemOS a Hy-Memory ukazují při tomhle měření na shodu s Opus 5, ne na statisticky rozhodnutý rozdíl. Všechna čísla pocházejí z pevné pětiny každého testu, zvolené kvůli výpočetní náročnosti, a opakovaný trénink s jinými náhodnými počátečními hodnotami zpráva odkládá do budoucí práce. Karta modelu tuhle výhradu neuvádí.

V dílčích výsledcích se pořadí místy obrací. V rámci Mem0 dal Opus 5 v testu LoCoMo 69,47 bodu, Hy-Memory 59,54. Test nákupních preferencí Shopping PS skončil u všech sedmi zapisovačů mezi 14,44 a 23,89 bodu ze sta. Všechny tabulky změřil Tencent a kdo jiný by je zopakoval, karta ani zpráva neuvádějí.

Váhy mají 60 GB a cache roste s každým tokenem

Soubory vah v BF16 mají podle výpisu repozitáře 60,1 GB. Den po vydání přibyla verze ve FP8 s 30,6 GB. Karta radí nasadit model přes vLLM a uvádí, že návod zkoušela s verzí 0.31.0 z 5. října. Sami jsme ho nespouštěli.

K vahám se přičítá mezipaměť klíčů a hodnot (KV cache), kterou model drží pro každý token kontextu. Hy-Memory má podle svého config.json ve všech 48 vrstvách plnou pozornost se čtyřmi hlavami klíčů a hodnot po 128 prvcích. V BF16 to dělá 2 × 48 × 4 × 128 × 2 B, tedy 98 304 B na token. Na 131 072 tokenů je to 12,9 GB a na celé okno 262 144 tokenů 25,8 GB. Váhy v BF16 s cache pro 131 072 tokenů tak dají 73 GB, verze FP8 s toutéž cache 43,5 GB, a to bez mezivýsledků výpočtu.

Velikost cache rozebíral v diskusi na r/LocalLLaMA jeden z uživatelů. Na 131 tisíc tokenů počítal u Hy-Memory se zhruba 12 GB a u Qwen3.6-35B-A3B s 1,2 GB. První číslo sedí. U Qwenu má plnou pozornost jen každá čtvrtá vrstva, tedy 10 ze 40, se dvěma hlavami po 256 prvcích a ostatní vrstvy drží stav, který s délkou kontextu neroste. Podle jeho config.json to v BF16 dělá 20 480 B na token a 2,7 GB na 131 072 tokenů. I tak potřebuje Hy-Memory na token 4,8krát víc paměti. The Open Weights v den vydání napsal, že poměr 30 ku 3 miliardám parametrů dává modelu praktický rozsah pro provoz u sebe; velikost cache zpráva nezmiňuje.

Licence bez výluky pro Evropskou unii

Soubor LICENSE přibyl do repozitáře 16. října v 8.12 UTC, necelý den po vahách, jak ukazuje historie revizí. Je to text Apache 2.0 s úvodní větou, že model nepřidává žádná omezení nad rámec licence. U Tencentu to samozřejmost není. Youtu-Parsing-Omni z 9. října má před textem Apache 2.0 vložený oddíl, podle něhož není určený pro Evropskou unii, a modely pod Tencent Hunyuan Community License unii zakazují. Hy-Memory vyvinul tým Hunyuan, a přesto žádnou takovou výhradu nemá. Pod Apache 2.0 vyšel i vlajkový Hy3.

Výchozí model mezi vydanými chybí

Trénink měl dvě fáze. V první se menší model učil psát paměť podle učitele, kterým byl podle zprávy právě Hy3; ten má na Hugging Face 298,8 miliardy parametrů. Druhá fáze, posilované učení s odměnou za to, jestli se z uložené paměti dá později odpovědět, běžela na 16 uzlech po osmi kartách H20, tedy na 128 akcelerátorech. Výchozí verze, kterou zpráva v tabulce vede jako Hy3-A3B Base, měla průměr 47,66 bodu. Trénink ji posunul o 7,84 bodu.

Ten výchozí model si stáhnout nejde. Zpráva ho popisuje jako instrukčně doladěnou verzi Hy3-30B-A3B, jenže dotaz na modely Tencentu se značkou A3B vrátí jen Hy-Memory, jeho verzi FP8 a překladové modely Hy-MT2-30B-A3B z května. Srovnání se základem si tak mimo Tencent zatím nikdo nezopakuje.

Zdroje

• Tencent: Hy-Memory-30B-A3B, karta modelu na Hugging Face, 15. října 2026
• Tencent: licence Hy-Memory-30B-A3B (LICENSE)
• Fei a kol.: Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing, arXiv:2610.22196, 15. října 2026
• Tencent: Hy-Memory-30B-A3B-FP8
• Qwen: config.json modelu Qwen3.6-35B-A3B
• Tencent: Hy3, karta modelu
• The Open Weights: Tencent releases Hy-Memory 30B-A3B under Apache 2.0, 15. října 2026
• Reddit, r/LocalLLaMA: diskuse k vydání Hy-Memory-30B-A3B