OpenAI představila textGrain pro značkování textu
Nový vodoznak vzniká při výběru slov a jeho detektor potřebuje tajný klíč. Firma ohlásila zavádění do evropského ChatGPT a Codexu, ověřování textu ale zpřístupňuje jen schváleným organizacím.
OpenAI zveřejnila 5. října technickou zprávu k textGrain, metodě pro vkládání rozpoznatelného signálu do textu jazykových modelů. Podle The Decoder firma ohlásila jeho zavádění do ChatGPT a Codexu v Evropské unii během příštích týdnů. Pro zákazníky programového rozhraní API má být značkování dobrovolné celosvětově. Zpráva tedy popisuje ohlášené zavádění, nikoli dokončené zapnutí u všech evropských uživatelů.
Signál vzniká už při psaní odpovědi
TextGrain nevkládá do hotové věty viditelnou značku. Jazykový model postupně vybírá tokeny, tedy slova nebo jejich části, podle pravděpodobností odvozených z předchozího textu. Vodoznak tento výběr propojí s hodnotami vytvořenými pomocí tajného klíče. Ve výsledné posloupnosti pak lze hledat statistickou stopu tohoto propojení.
Slovník tokenů metoda rozdělí do bloků. Nejprve vybere blok a uvnitř něj konkrétní token; poměry pravděpodobností mezi tokeny téhož bloku zachová. Výpočet se tím zmenší, protože nemusí řešit každou položku velkého slovníku samostatně. Oproti údajům o původu připojeným k souboru je zde signál součástí samotného výběru textu.
Autoři regulují, kolik náhodnosti při značkování ubude. Silnější vazba na tajný klíč dává detektoru více podkladů, zároveň ale omezuje volnost při výběru pokračování. Technická zpráva tento vztah popisuje pomocí entropie, veličiny vyjadřující nejistotu výběru. Nastavený rozpočet určuje, jak velkou část této nejistoty smí metoda v průměru odebrat.
Matematická záruka má své předpoklady
Zachování pravděpodobností v popsaném postupu není slib, že každá označená odpověď bude stejně dobrá jako neoznačená. Zpráva pracuje s průměrem přes náhodné hodnoty odvozené z klíče. U pevného klíče a konkrétního textu nemusí ztráta náhodnosti vyjít stejně. Také zachování rozdělení celých posloupností vyžaduje další podmínku, kterou autoři uvádějí zvlášť.
Omezení se týká i samotného výpočtu. Ten má konečný počet kroků a určitou přesnost, takže skutečně dosažená ztráta náhodnosti může skončit nad požadovaným rozpočtem i pod ním. Autoři proto požadují sledovat dosaženou hodnotu a stav výpočtu. Číslo zadané jako rozpočet samo o sobě záruku nedává.
The Decoder při rozboru firemních testů upozorňuje na další rozdíl: výsledky úloh měřících schopnosti modelu ještě nedokládají, že značkování nemění kvalitu psaní. Jde o hodnocení této redakce, nikoli o nezávislé zopakování testů textGrain.
Detektor nepotřebuje původní model
Ověřovací nástroj si ze zkoumaného textu a tajného klíče znovu odvodí hodnoty použité při značkování. Potřebuje také shodná pravidla dělení textu na tokeny a nastavení bloků. Samotný model, který odpověď napsal, ani jeho rozpočet pro ztrátu náhodnosti při ověřování nepotřebuje.
Následuje statistická zkouška. Detektor se ptá, zda vybrané tokeny odpovídají signálu více, než by se čekalo u neoznačeného textu. Opakující se úseky předchozího textu do skóre započítává jen při prvním výskytu. Opakování téže věty tak nelze jednoduše počítat jako stále nové nezávislé důkazy.
I zde zpráva odlišuje ideální výpočet od provozu. Teoretická míra falešných nálezů platí za uvedených předpokladů o nezávislosti. Pevný nasazený klíč a omezená přesnost výpočtů vyžadují ověření na skutečných datech; vzorec sám nezaručuje totožnou chybovost u každého použití. Detektor jsme nezkoušeli.
Veřejné ověření textu zatím není běžná služba
Dokumentace OpenAI výslovně odděluje kontrolu obrázků a zvuku od ověřování textu. U textu vyzývá k žádosti o přístup a uvádí, že jej mají pouze schválené organizace, včetně výzkumných a akademických institucí. Každou žádost posuzuje jednotlivě. Veřejně popsané rozhraní pro nahrání obrázku nebo zvuku proto nelze vydávat za veřejný detektor textGrain.
Podle The Decoder má textový nástroj hlásit jen rozpoznání vodoznaku OpenAI, bez určení uživatele a bez zpřístupnění jeho zadání nebo konverzace. Negativní výsledek přitom není potvrzením lidského autorství: text může být příliš krátký, upravený, přeložený nebo vytvořený modelem, který detektor nepodporuje. Ani nalezený signál nerozhoduje o pravdivosti vět nebo o tom, kolik práce do nich vložil člověk.