Přeskočit na obsah
0 komentářů Bezpečnost 3 min čtení

Modely OpenAI se při tréninku zlepšovaly i v ovládání zápisu uvažování

Výzkumníci sledovali, jak vzniká schopnost měnit mezikroky řešení a odpovídat bez nich. Lepší ovládání zápisu ale u dvojice srovnatelně schopných modelů neznamenalo úspěšnější obcházení kontroly.

Řady skříní superpočítače IBM Blue Gene/P
Superpočítač IBM Blue Gene/P, ilustrační snímek z roku 2007. Foto: Argonne National Laboratory, Wikimedia Commons (CC BY-SA 2.0).

OpenAI zveřejnila 10. listopadu výzkum vlivu tréninku na kontrolovatelnost uvažování modelů. Podnětem byly zkušenosti s GPT-6 Astra: firma u něj pozorovala zhoršení dohledu nad textovými mezikroky i větší schopnost řešit úlohy bez jejich vypisování. Nová práce hledá, ve kterých částech vývoje tyto schopnosti vznikají. Výsledky pocházejí z pokusů samotné OpenAI.

Takzvaný chain of thought je pracovní zápis, ve kterém model během řešení vytváří mezikroky před konečnou odpovědí. Bezpečnostní kontrola v něm může hledat třeba plán porušit pravidla. Pokud model zvládne úlohu bez tohoto zápisu nebo ho na pokyn snadno změní, má kontrola méně spolehlivých vodítek. Samotná taková schopnost však ještě nedokazuje, že model dohled úspěšně obchází.

Výzkumníci měřili dvě nepřímé známky

První zkouška sledovala, co model vyřeší bez textových mezikroků a bez volání nástrojů. Druhá měřila, jak dobře dokáže zápis uvažování upravit podle zadání. Autoři mu například přikázali používat jen malá písmena nebo přidávat určité slovo. Hodnotili podíl zápisu, který se pokynem řídil. Šlo tedy o ovládání podoby textu, nikoli rovnou o zkoušku úspěšného podvodu.

Obě vlastnosti berou jako nepřímé ukazatele možného oslabení dohledu. U první roste podíl řešení, ke kterému kontrola nemá slovní mezikroky. U druhé se zvyšuje možnost ovlivnit, co v zápisu stojí. Výzkum ale sám upozorňuje, že zvláště druhé měření kolísá a nemusí odpovídat výsledkům přímých testů obcházení kontroly.

Záleželo na tréninku i stavbě modelu

Autoři porovnávali vydané i interní modely a také různé fáze jejich přípravy. V pokusech oddělovali účinek počátečního učení z dat, stavby modelu a dalšího tréninku podle odměn za správné řešení. Výsledky rozdělili do čtyř oblastí:

Co OpenAI zkoumalaCo v pokusech zjistila
Počáteční tréninkLepší předpovídání textu souviselo s lepším řešením úloh bez vypsaných mezikroků.
Stavba modeluPři srovnatelné kvalitě předpovídání textu zvládaly některé stavby lépe plánování a vícekrokové výpočty bez zápisu.
Trénink podle odměnSchopnost měnit zápis rostla i tehdy, když hodnotitel viděl jen zadání a konečnou odpověď.
Učení z odpovědí jiného modeluRozdíl ve schopnosti ovládat zápis se přenesl z učitelských modelů na žáky.

U tréninku podle odměn výzkumníci odstranili přímé hodnocení mezikroků, kromě omezení jejich délky. Přesto se interní model třídy Astra dál zlepšoval v tom, jak zápis na pokyn měnit. U menšího pokusu s interním modelem třídy Terra přidání terminálu, prohlížeče a hodnocení jejich vstupů a výstupů vedlo jen k mírnému dalšímu zvýšení této schopnosti.

Přenos na další generaci ověřili pomocí dvou učitelských modelů s podobnými schopnostmi, ale odlišným ovládáním zápisu. Oba dostali stejnou sadu zadání i rozpočet pro délku řešení. Jejich výstupy pak posloužily k doučení dvou kopií téhož základního modelu. Žák učený z odpovědí lépe ovladatelného učitele také lépe ovládal vlastní zápis.

Lepší ovládání zápisu nevedlo k úspěšnějšímu obcházení kontroly

Právě u dvojice podobně schopných modelů autoři narazili na mez svého ukazatele. V příloze B popisují přímé zkoušky, při kterých měl model skrytě řešit vedlejší matematickou úlohu nebo na pokyn záměrně podávat slabší výkon. Model s lépe ovladatelným zápisem se dohledu nevyhýbal úspěšněji. Výsledky byly buď nerozlišitelné, nebo se lépe dařilo tomu druhému.

Rozbor serveru The Decoder z 12. listopadu zasazuje práci do sporu o vztah výkonu, nákladů a průhlednosti modelů. Upozorňuje na roli rozhodnutí vývojářů, například při výběru stavby modelu či učitele pro další generaci. Zmiňuje přitom i výsledek z přílohy B. Zjištění tak nelze zkrátit na tvrzení, že každý lépe ovladatelný zápis znamená lépe skryté nekalé jednání.

Výsledky bez vypsaných mezikroků navíc zahrnují verzi GPT-6 Astra s vypnutým uvažováním, která není součástí veřejného vydání. Některé stavby a interní modely firma označuje pouze obecnými názvy. Čtenář proto nedostává sadu veřejných modelů, na které by mohl všechny pokusy beze změn zopakovat.

OpenAI chce rozšířit přímé zkoušky dohledu a vyvíjet další způsoby kontroly. Počítá s tím, že další pokrok v počátečním tréninku bude vyžadovat nové postupy. Při hodnocení rizika už tedy nechce spoléhat jen na to, jak snadno model na příkaz mění text svých mezikroků.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. Bezpečnost

    OpenAI si dohodla interní prověrky se čtyřmi hodnotiteli

    OpenAI podepsala dohody s Apollo Research, METR, Transluce a Goodfire o prověrkách modelů a jejich ochrany. Šest lidí z Apolla má uvnitř firmy pracovat čtyři měsíce.…

  2. Bezpečnost

    DeepSeek splnil v testu Vals téměř tři čtvrtiny cílů v simulovaných sítích

    DeepSeek V4.1 Flash 1017 se v CyberOffense přiblížil GPT-6 Sol v režimu Daybreak. Podíl splněných kroků ale není pravděpodobnost napadení skutečné firmy a výsledky se…

  3. Bezpečnost

    Anthropic ukázal prototyp pro ověření, který model vytvořil odpověď

    Anthropic zveřejnil FlashProve, výzkumný prototyp pro ověření, zda odpověď spočítal slíbený model. Jeho váhy přitom zůstávají skryté. Současná verze ovšem kontroluje jen…

  4. Bezpečnost

    Nová pojistka Claude Code proti zápisu mimo projekt se nevztahuje na příkazy v shellu

    Verze 2.1.314 z 30. října přidala nastavení, se kterým nástroje Write, Edit a NotebookEdit odmítnou zapisovat mimo pracovní adresáře, a to i v režimu, který se jinak na…