Přeskočit na obsah
0 komentářů Bezpečnost 3 min čtení

OpenAI si dohodla interní prověrky se čtyřmi hodnotiteli

OpenAI podepsala dohody s Apollo Research, METR, Transluce a Goodfire o prověrkách modelů a jejich ochrany. Šest lidí z Apolla má uvnitř firmy pracovat čtyři měsíce. Závěry budou moci zveřejnit, část důkazů ale smí OpenAI z veřejné zprávy odstranit.

Po zářijovém příslibu externí kontroly zveřejnila OpenAI 16. listopadu jména hodnotitelů i pravidla první spolupráce. Podle jejího oznámení mají odborníci zvenčí zkoumat modely během trénování a interního použití. K dispozici dostanou vybrané meziverze modelů, záznamy testů, data a rozhovory s výzkumníky. Každá dohoda má vlastní rozsah.

Zástupci OpenAI při návštěvě Evropské komise
Návštěva zástupců OpenAI v Evropské komisi 26. září 2023, ilustrační snímek. Foto: European Commission – Aurore Martignoni, Wikimedia Commons (CC BY 4.0).

Apollo prověří chování modelů už při trénování

Apollo Research popisuje dohodu jako čtyřměsíční zkušební spolupráci šesti lidí. Budou zjišťovat, zda se modely snaží obejít pravidla, která mají je samotné nebo jejich nástupce držet pod lidskou kontrolou. Zajímat je bude i to, zda trénování takové chování odměňuje a zda by ho firemní dohled dokázal zachytit.

Dosavadní prověrky Apolla se odehrávaly po dokončení závěrečného dotrénování, krátce před vydáním modelu. Podle organizace to nestačí k posouzení skrytého obcházení pravidel ani použití modelů, které firma veřejnosti vůbec nenabízí. Přístup k průběžným verzím má umožnit sledovat, jak se chování mění během vývoje.

Čtyři hodnotitelé si rozdělí práci takto. Tabulka shrnuje oznámené záměry, nikoli výsledky hotových prověrek.

HodnotitelCo má zkoumat
Apollo ResearchPokusy modelů obejít kontrolu při trénování, testech a interním použití a možnost takové chování odhalit.
GoodfireVnitřní fungování modelů, sledování trénování a hledání nežádoucího chování.
METRNežádoucí chování v dosud největším běhu posilovaného učení OpenAI, při němž se model učí podle odměn. Rozsah další prověrky dohledových systémů se ještě domlouvá.
TransluceKvalitu a pokrytí testů, kterými OpenAI po dotrénování ověřuje, zda se model chová podle záměrů vývojářů.

OpenAI vybírá zaměstnance pro rozhovory

Podrobnosti Apolla ukazují, co přístup dovnitř firmy znamená. Pro ověření vlivu trénování má tým získat příslušný kód, datové sady, záznamy běhů včetně dostupného zápisu uvažování a odměn i možnost dotazovat se průběžných verzí modelů. Podrobná pravidla přístupu pro další části prověrky ale ještě nejsou dohodnutá.

Také uvnitř smluveného rozsahu může OpenAI podklady odepřít kvůli technické neproveditelnosti, bezpečnosti nebo ochraně duševního vlastnictví. Musí oznámit, že odepřené materiály existují, a písemně vysvětlit důvod. Zavázala se, že informace ani přístup k lidem nezadrží jen proto, že jsou pro ni nepříznivé.

Rozhovory o důvěrných informacích smí Apollo vést pouze se schválenými zaměstnanci. Může navrhnout konkrétní jména, účastníky však vybírá OpenAI. Pokud se s důvěrnou informací ozve někdo mimo tuto skupinu, hodnotitelé musí věcný rozhovor přerušit a pokračování řešit přes určený firemní kontakt. Běžné interní komunikační kanály, například Slack, jim ve výchozím stavu přístupné nebudou.

Veřejný závěr nemusí obsahovat všechny důkazy

Apollo má vydat dvě zprávy. První posoudí, zda trénování motivovalo modely k obcházení kontroly. Druhá pokryje testování, interní použití a odhalitelnost souvisejícího uvažování. OpenAI podle dohody nesmí odstranit samotné verdikty ani žádat škrty pouze kvůli nepříznivému zjištění. Smí však skrýt důvěrné důkazy, včetně těch, o něž se závěr opírá.

Čtenář proto nemusí dostat všechny podklady k ověření výsledku. Apollo smí popsat rozsah odepřeného přístupu či škrtů a jejich dopad na závěry. Podmínky přístupu a zveřejňování může popsat bez předchozí kontroly OpenAI. Nezkrácené zprávy má obdržet bezpečnostní výbor správní rady nadace OpenAI, s nímž mohou hodnotitelé mluvit i soukromě.

Odměnu za práci podle OpenAI přijímají Apollo a Goodfire; nezávisí na výsledku prověrky. METR a Transluce peněžní odměnu nepřijímají, mohou ale získat výpočetní kapacitu nebo kredity pro rozhraní API. Reportáž TechCrunch zasazuje dohody do debaty o nezávislosti kontrolorů, kterým přístup k důkazům určuje posuzovaná firma.

Apollo samo uvádí, že zkušební dohoda zatím nesplňuje všechny jeho požadavky na plnou interní prověrku. Za splněné minimum považuje právo veřejně popsat omezení své práce. Další krok už OpenAI s Transluce plánují na začátek roku 2027: přibližně osm týdnů prověřování s širším přístupem, včetně toho, jak výsledky testů ovlivňují rozhodnutí model vydat.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. Bezpečnost

    Modely OpenAI se při tréninku zlepšovaly i v ovládání zápisu uvažování

    Výzkumníci sledovali, jak vzniká schopnost měnit mezikroky řešení a odpovídat bez nich. Lepší ovládání zápisu ale u dvojice srovnatelně schopných modelů neznamenalo…

  2. Bezpečnost

    DeepSeek splnil v testu Vals téměř tři čtvrtiny cílů v simulovaných sítích

    DeepSeek V4.1 Flash 1017 se v CyberOffense přiblížil GPT-6 Sol v režimu Daybreak. Podíl splněných kroků ale není pravděpodobnost napadení skutečné firmy a výsledky se…

  3. Bezpečnost

    Anthropic ukázal prototyp pro ověření, který model vytvořil odpověď

    Anthropic zveřejnil FlashProve, výzkumný prototyp pro ověření, zda odpověď spočítal slíbený model. Jeho váhy přitom zůstávají skryté. Současná verze ovšem kontroluje jen…

  4. Bezpečnost

    Nová pojistka Claude Code proti zápisu mimo projekt se nevztahuje na příkazy v shellu

    Verze 2.1.314 z 30. října přidala nastavení, se kterým nástroje Write, Edit a NotebookEdit odmítnou zapisovat mimo pracovní adresáře, a to i v režimu, který se jinak na…