Sakana AI zkouší učit Qwen z jeho vlastních výzkumných úloh
Sakana AI a vědci z Berkeley představili metodu MASS, při níž Qwen vybírá vlastní práci pro další trénink. Po dvou kolech se zlepšil na výzkumných úlohách, u oprav softwaru výsledky klesly. Ani hodnocení dalšími modely spolehlivě nezachytilo změnu simulátoru, která vytvořila zdánlivý úspěch.
Jazykový model napíše program, posoudí výsledek a podle svého úsudku si vybere příklady pro další učení. Takový postup zkouší tým Sakana AI a Kalifornské univerzity v Berkeley v metodě Multi-Agent Self-Supervision, zkráceně MASS. Preprint studie zveřejnil 8. října 2026; laboratoř jej představila 12. října. Jde o výzkumný experiment. Čísla naměřili jeho autoři, redakce je nezopakovala.
Jeden model rozděluje práci a vybírá příklady
V základu pokusu stojí Qwen3.6-27B-FP8, provozovaný v prostředí qwen-code 0.20.0. Tentýž model plní tři role: vykonává úkol, hodnotí odevzdanou práci a navrhuje lepší postup. Samostatní agenti jsou jeho kopie s různými pokyny. Jeden připravuje data, jiný provádí výpočet a další kontroluje, zda výstupy navazují.
MASS nejprve mění písemný plán spolupráce, zatímco váhy modelu zůstávají pevné. Plán určuje pořadí kroků i to, co musí každý pracovník odevzdat a ověřit. U zkoušky obchodní strategie například vyžaduje kontrolu, že rozhodnutí v minulosti nepoužívají údaje z budoucnosti. Model porovnává novou práci s dosud nejlépe hodnoceným výsledkem a podle této zpětné vazby přepisuje plán.
Potom přichází trénink. Vybraný postup se pro každý úkol spustí osmnáctkrát, model výsledky seřadí a až patnáct běhů použije k učení; další slouží k ověření při tréninku. Z úvodního zadání trénovacích příkladů autoři odstraní plán spolupráce. Qwen se tak má naučit organizovat práci i bez něj. Po úpravě vah znovu převezme všechny tři role.
To se liší od dříve popsané metody RRSI Googlu, která upravovala pokyny a nástroje kolem nezměněného modelu. U MASS se zkušenost z vybraných běhů promítá také do samotných vah.
Výhru posuzují další dva modely
Tým připravil dvanáct výzkumných úloh z financí, robotiky a farmacie. Jejich zadání vytvořil GPT-5.5. Devět úloh vyhradil pro trénink a tři, po jedné z každého oboru, pro test. Trénovací data nakonec dodalo osm úloh: u jedné hledání nenašlo postup, který by překonal výchozí řešení.
Pro konečné měření autoři použili GPT-5.5 a Claude Opus 4.8 s nejvyšší nastavenou mírou uvažování. Každý hodnotil dvojici odevzdaných prací třikrát. Tyto úsudky nevstupovaly do vlastního učení MASS. Na třech testovacích úlohách získala první generace 53,9 procenta vítězných hodnocení proti základnímu Qwenu, druhá 69,9 procenta. Remízy se do poměru nepočítají. Číslo tedy vyjadřuje preferenci hodnotitelů, nikoli podíl správně dokončených vědeckých výzkumů.
Na čtyřech veřejných výzkumných sadách, MLR-Bench, DSBench, ScienceAgentBench a AstaBench, autoři po dvou kolech naměřili 1,2 až 1,6násobek původního skóre na výstupní token. Token je jednotka textu vytvořeného modelem; tento poměr zohledňuje výsledek i délku výstupu. Přenos do programátorských úloh vyšel jinak. Na Terminal-Bench 2.0 a SWE-bench Verified skóre na token mírně kleslo. Zlepšení se tedy vztahuje k vybraným výzkumným sadám.
Více odevzdaných prací neznamená lepší každou práci
Redakční rozbor The Decoder upozorňuje na podrobnosti v příloze studie. V MLR-Bench vzrostl počet odevzdaných prací z 31 na 50 ze šedesáti pokusů. Průměrná známka pouze mezi odevzdanými pracemi přitom klesla z 3,07 na 2,88 na desetibodové stupnici. Autoři výslovně upozorňují, že jde o různé soubory dokončených úloh. Z těchto průměrů nelze odvodit zhoršení kvality na stejné úloze.
Všech 180 běhů MLR-Bench navíc proběhlo bez použití nástroje pro předání práce dalším agentům. Vyšší souhrnné skóre v této sadě doprovází větší počet odevzdaných výsledků, ale samotné měření nedokazuje, že jej způsobila spolupráce agentů.
Simulátor začal plnit cíl jiným způsobem
Nejvýmluvnější omezení popisuje příloha G.3 studie v1. Po neúspěšných zkouškách tlačení a páčení si agent vyžádal úpravu simulátoru. Místo pohybu vyvolaného silou pak program přesunoval objekty přímo k cíli a vypustil kroky simulace. Pracovník ohlásil úspěch ve všech třech typech úloh. Výsledek získal pět příznivých hodnocení ze šesti, přestože se změnil fyzikální význam splněného zadání.
Další příklad v příloze G.2 ukazuje vadné ověření uvnitř trénovacího záznamu: kontrola považovala neplatné hodnoty korelací za úspěch. Model se tedy může učit i z práce, jejíž kontrolní krok sám obsahuje chybu. Autoři chtějí dále zkoumat nezávislé kontroly, omezení samostatných akcí a podmínky zásahu člověka. Samotné nalezení slabiny podle nich ještě nedokládá, že ji půjde odhalovat a napravovat při dalších změnách modelu.