Anthropic ukázal prototyp pro ověření, který model vytvořil odpověď
Anthropic zveřejnil FlashProve, výzkumný prototyp pro ověření, zda odpověď spočítal slíbený model. Jeho váhy přitom zůstávají skryté. Současná verze ovšem kontroluje jen krátký kontext a vytváření důkazů stojí mnohem více výpočetního času než běžný provoz modelu.
Když si zákazník vybere jazykový model, ze samotné odpovědi spolehlivě nepozná, zda služba opravdu použila ten slíbený. Anthropic 2. listopadu zveřejnil FlashProve, prototyp, který má takové ověření umožnit pomocí kryptografického důkazu. Poskytovatel by doložil konkrétní výpočet, aniž by zákazníkovi předal váhy modelu, tedy číselné hodnoty, které určují jeho chování.
Poskytovatel se předem zaváže ke konkrétním vahám
Postup má dvě strany. Provozovatel nejprve vytvoří kryptografický závazek ke konkrétní sadě vah. Při ověření pak předloží důkaz, že kontrolovaný výstup odpovídá právě tomuto modelu. Zákazník jej zkontroluje na procesoru, bez vlastní kopie vah a bez grafické karty potřebné k provozu velkého modelu.
Použitá metoda se jmenuje zkSNARK. Jde o krátký důkaz správného provedení výpočtu, který neodhaluje skryté údaje použité při výpočtu. U FlashProve jsou těmito údaji váhy. Architekturu, tedy uspořádání modelu, systém neskrývá. The Decoder popisuje jako možné využití například kontrolu zprostředkovatele, který by zákazníkovi potají podsunul levnější model.
Důležitý detail uvádí návod v repozitáři: identifikátor závazku musí ověřující získat od někoho, komu důvěřuje. Nemá jej převzít jen od serveru, který právě kontroluje. Jinak by ověřil výpočet vůči vahám, které mu vybral tentýž provozovatel.
Skoro 19 megabajtů připadá na jeden kontrolovaný token
Anthropic měřil zveřejněný prototyp FlashProve, v repozitáři označený jako verze 0.16.0, na modelu Llama 4 Maverick se 400 miliardami parametrů. Použil čtyřbitové váhy, které ukládají číselné hodnoty úsporněji než běžné formáty. Důkazy vytvářel server s jednou kartou Nvidia H100 a 24 procesorovými jádry. Výsledky pocházejí od autorů systému.
| Co autoři měřili | Výsledek a podmínky |
|---|---|
| Délka kontextu | 1 024 tokenů, tedy částí textu zpracovávaných modelem |
| Rozsah jednoho důkazu | Jeden kontrolovaný token |
| Velikost jednoho důkazu | 18,78 MB |
| Vytvoření dávky 24 požadavků | Přibližně 223 sekund na uvedeném serveru |
| Ověření jednoho důkazu | 17 sekund při použití 24 procesorových vláken |
Údaj o kontextu proto nelze číst jako příslib, že jeden takový soubor doloží celou odpověď dlouhou tisíc tokenů. V popsaném měření každý důkaz ověřuje jediný token v příslušném kontextu. Systém navíc hotový text zpracovává dodatečně v dávkách; důkaz nevzniká souběžně s každým novým slovem v chatu.
Ve srovnání s běžným výpočtem modelu autoři uvádějí zhruba 70 až 95krát více času grafického procesoru. Srovnávací běh ovšem používal knihovnu vLLM a variantu Mavericku ve formátu FP8 na osmi H100, zatímco FlashProve dokazoval celočíselný výpočet se čtyřbitovými vahami. Poměr přepočítali na jednu kartu. Nejde o měření dvou totožných konfigurací ani o cenu budoucí služby.
Prototyp ověřuje určitý způsob výpočtu
Omezení zasahují i do toho, jak model vybírá další token. Důkaz se vztahuje na celočíselnou podobu modelu, která vždy zvolí nejpravděpodobnější pokračování. Běžné náhodné vybírání mezi několika možnostmi nebo výpočet s desetinnou čárkou mohou dát jiný výsledek. Taková odpověď se pak nemusí přesně shodovat s výpočtem, který FlashProve dokazuje.
Současný strop 1 024 tokenů kontextu je také příliš krátký pro dlouhé konverzace. Anthropic výslovně uvádí, že jde o průběžný výsledek výzkumu. Repozitář navíc označuje projekt za neudržovaný výzkumný výstup, který nepřijímá příspěvky. Kód, důkazy a dokumentace jsou dostupné pod licencí Apache 2.0.
Matematický důkaz nepokrývá automaticky celý program
Součástí vydání jsou i důkazy vlastností protokolu v systému Lean, který umožňuje matematická tvrzení kontrolovat strojem. Vedle pomalejšího ověřovače v Leanu existuje rychlý ověřovač v C++. U něj ale Anthropic neposkytuje formální záruku shody s dokázaným protokolem. V testech autorů se oba ověřovače shodovaly; ověření spustitelného kódu zůstává samostatnou prací.
Provozovatel, který chce uchovat váhy v tajnosti, musí také posoudit úniky mimo samotný důkaz. Například měření doby jeho vytváření je podle Anthropicu mimo rozsah této verze. Samotná kryptografická záruka se týká informací obsažených v důkazu.