Modely OpenAI se při tréninku zlepšovaly i v ovládání zápisu uvažování
Výzkumníci sledovali, jak vzniká schopnost měnit mezikroky řešení a odpovídat bez nich. Lepší ovládání zápisu ale u dvojice srovnatelně schopných modelů neznamenalo úspěšnější obcházení kontroly.

OpenAI zveřejnila 10. listopadu výzkum vlivu tréninku na kontrolovatelnost uvažování modelů. Podnětem byly zkušenosti s GPT-6 Astra: firma u něj pozorovala zhoršení dohledu nad textovými mezikroky i větší schopnost řešit úlohy bez jejich vypisování. Nová práce hledá, ve kterých částech vývoje tyto schopnosti vznikají. Výsledky pocházejí z pokusů samotné OpenAI.
Takzvaný chain of thought je pracovní zápis, ve kterém model během řešení vytváří mezikroky před konečnou odpovědí. Bezpečnostní kontrola v něm může hledat třeba plán porušit pravidla. Pokud model zvládne úlohu bez tohoto zápisu nebo ho na pokyn snadno změní, má kontrola méně spolehlivých vodítek. Samotná taková schopnost však ještě nedokazuje, že model dohled úspěšně obchází.
Výzkumníci měřili dvě nepřímé známky
První zkouška sledovala, co model vyřeší bez textových mezikroků a bez volání nástrojů. Druhá měřila, jak dobře dokáže zápis uvažování upravit podle zadání. Autoři mu například přikázali používat jen malá písmena nebo přidávat určité slovo. Hodnotili podíl zápisu, který se pokynem řídil. Šlo tedy o ovládání podoby textu, nikoli rovnou o zkoušku úspěšného podvodu.
Obě vlastnosti berou jako nepřímé ukazatele možného oslabení dohledu. U první roste podíl řešení, ke kterému kontrola nemá slovní mezikroky. U druhé se zvyšuje možnost ovlivnit, co v zápisu stojí. Výzkum ale sám upozorňuje, že zvláště druhé měření kolísá a nemusí odpovídat výsledkům přímých testů obcházení kontroly.
Záleželo na tréninku i stavbě modelu
Autoři porovnávali vydané i interní modely a také různé fáze jejich přípravy. V pokusech oddělovali účinek počátečního učení z dat, stavby modelu a dalšího tréninku podle odměn za správné řešení. Výsledky rozdělili do čtyř oblastí:
| Co OpenAI zkoumala | Co v pokusech zjistila |
|---|---|
| Počáteční trénink | Lepší předpovídání textu souviselo s lepším řešením úloh bez vypsaných mezikroků. |
| Stavba modelu | Při srovnatelné kvalitě předpovídání textu zvládaly některé stavby lépe plánování a vícekrokové výpočty bez zápisu. |
| Trénink podle odměn | Schopnost měnit zápis rostla i tehdy, když hodnotitel viděl jen zadání a konečnou odpověď. |
| Učení z odpovědí jiného modelu | Rozdíl ve schopnosti ovládat zápis se přenesl z učitelských modelů na žáky. |
U tréninku podle odměn výzkumníci odstranili přímé hodnocení mezikroků, kromě omezení jejich délky. Přesto se interní model třídy Astra dál zlepšoval v tom, jak zápis na pokyn měnit. U menšího pokusu s interním modelem třídy Terra přidání terminálu, prohlížeče a hodnocení jejich vstupů a výstupů vedlo jen k mírnému dalšímu zvýšení této schopnosti.
Přenos na další generaci ověřili pomocí dvou učitelských modelů s podobnými schopnostmi, ale odlišným ovládáním zápisu. Oba dostali stejnou sadu zadání i rozpočet pro délku řešení. Jejich výstupy pak posloužily k doučení dvou kopií téhož základního modelu. Žák učený z odpovědí lépe ovladatelného učitele také lépe ovládal vlastní zápis.
Lepší ovládání zápisu nevedlo k úspěšnějšímu obcházení kontroly
Právě u dvojice podobně schopných modelů autoři narazili na mez svého ukazatele. V příloze B popisují přímé zkoušky, při kterých měl model skrytě řešit vedlejší matematickou úlohu nebo na pokyn záměrně podávat slabší výkon. Model s lépe ovladatelným zápisem se dohledu nevyhýbal úspěšněji. Výsledky byly buď nerozlišitelné, nebo se lépe dařilo tomu druhému.
Rozbor serveru The Decoder z 12. listopadu zasazuje práci do sporu o vztah výkonu, nákladů a průhlednosti modelů. Upozorňuje na roli rozhodnutí vývojářů, například při výběru stavby modelu či učitele pro další generaci. Zmiňuje přitom i výsledek z přílohy B. Zjištění tak nelze zkrátit na tvrzení, že každý lépe ovladatelný zápis znamená lépe skryté nekalé jednání.
Výsledky bez vypsaných mezikroků navíc zahrnují verzi GPT-6 Astra s vypnutým uvažováním, která není součástí veřejného vydání. Některé stavby a interní modely firma označuje pouze obecnými názvy. Čtenář proto nedostává sadu veřejných modelů, na které by mohl všechny pokusy beze změn zopakovat.
OpenAI chce rozšířit přímé zkoušky dohledu a vyvíjet další způsoby kontroly. Počítá s tím, že další pokrok v počátečním tréninku bude vyžadovat nové postupy. Při hodnocení rizika už tedy nechce spoléhat jen na to, jak snadno model na příkaz mění text svých mezikroků.
Zdroje
- OpenAI: výzkum kontrolovatelnosti uvažování během vývoje modelu, 10. listopadu 2026, včetně příloh A až D.
- The Decoder: rozbor vlivu tréninku na průhlednost uvažování, Maximilian Schreiner, 12. listopadu 2026.