DeepSeek splnil v testu Vals téměř tři čtvrtiny cílů v simulovaných sítích
DeepSeek V4.1 Flash 1017 se v CyberOffense přiblížil GPT-6 Sol v režimu Daybreak. Podíl splněných kroků ale není pravděpodobnost napadení skutečné firmy a výsledky se mezi oběma sítěmi liší.

Model, který si lze stáhnout, se v bezpečnostní zkoušce Vals AI přiblížil modelu provozovanému se zvláštním schválením OpenAI. DeepSeek V4.1 Flash 1017 zvládl na jedné zkušební síti podobný počet cílů jako GPT-6 Sol v režimu Daybreak. Na druhé za ním zaostal. Výsledky CyberOffense nesou datum aktualizace 23. října 2026; The Decoder je rozebral 7. listopadu.
Počítají se dosažené cíle, ne napadené firmy
Každý model řídil agenta Pi na odděleném počítači s Kali Linuxem. Agent dostal výchozí adresu webové aplikace, zadání a hranice povolené činnosti. Pak sám volil příkazy a četl jejich výsledky. Přístup měl pouze k poskytovateli modelu a ke zkušební síti, nikoli k otevřenému internetu. Lidé mu při řešení nepomáhali.
Nova propojuje několik domén Active Directory, tedy systémů pro správu účtů a oprávnění ve Windows. Lighthouse představuje dvě firemní sítě: informace získané v první jsou nutné k postupu do druhé. V obou případech jde o připravené prostředí. Vals ověřuje jednotlivé cíle podle skrytých značek zachycených v záznamu příkazů, nikoli podle tvrzení modelu, že práci dokončil.
| Model v testu Vals | Nova: splněné cíle z 21 | Lighthouse: splněné cíle z 31 |
|---|---|---|
| GPT-6 Sol Daybreak | 15,7 | 27 |
| DeepSeek V4.1 Flash 1017 | 16,3 | 21 |
| Meta Wonder | 7 | 28 |
Zdroj: Vals AI, stav z 23. října 2026. U GPT-6 Sol a DeepSeeku je údaj pro Novu průměrem tří běhů. Rozpětí bylo 12 až 19, respektive 15 až 18 cílů. Malý rozdíl průměrů tak neznamená, že DeepSeek pokaždé vyhraje. Meta Wonder zase na Lighthouse splnila více cílů než oba soupeři, ale na Nově podstatně méně.
Celkové skóre Vals dává oběma sítím stejnou váhu. Není to prostý součet dosažených cílů dělený všemi 52 cíli. A už vůbec nejde o podíl skutečných firem, které by agent dokázal napadnout.
Dlouhý pokus změnil výsledek DeepSeeku
Pro porovnání Vals počítá cíle splněné do 500 milionů souhrnných tokenů. Token je část textu, kterou model zpracovává; do zdejšího součtu patří při každém volání znovu celý čtený vstup, včetně uložených částí, i výstup a tokeny uvažování. Nejde tedy o jediný rozhovor dlouhý půl miliardy tokenů.
Podle rozboru Vals DeepSeek během prvních 25 milionů tokenů nesplnil žádný cíl a většinu pokroku udělal až po překročení 100 milionů. Krátce utnutý pokus by ho ukázal podstatně hůř. Vyšší rozpočet ovšem nepomáhal každému modelu: všichni testovaní agenti nakonec skončili sami, před vyčerpáním tokenového rozpočtu nebo časové hranice 48 hodin.
Na Nově stál podle Vals běh DeepSeeku méně než tři dolary, zatímco u GPT-6 Sol v režimu Daybreak přibližně 22 dolarů. Jsou to náklady konkrétního pokusu, nikoli ceník za milion tokenů nebo cena za napadení libovolné sítě.
Stažené váhy a schvalovaný přístup mají jiná pravidla
DeepSeek zveřejnil váhy testované verze pod licencí MIT. Ta dovoluje použití i úpravy a další šíření při zachování uvedeného autorského a licenčního oznámení. Neobsahuje schvalování bezpečnostního použití poskytovatelem.
Daybreak je naproti tomu přístupový program. OpenAI v jeho pravidlech vyžaduje dodatečné schválení a omezuje použití na systémy, které uživatel vlastní nebo smí testovat. Režim omezuje zbytečná odmítnutí bezpečnostních úloh, ale neruší všechny ochrany. Výsledek Vals se vztahuje ke konkrétnímu testovanému režimu GPT-6 Sol, nikoli automaticky k běžnému chatu se stejným modelem.
Zkušební síť nenahradí aktivní obranu
Podobnou hranici vytyčuje i nezávislý britský AI Security Institute ve svém květnovém rozboru: jeho vlastní síťové zkoušky používají malé podnikové sítě bez aktivní obrany a výsledky neříkají, jak se schopnosti přenesou proti bráněným systémům v praxi. Jde o jiné zkoušky než CyberOffense; jejich procenta nelze slít do společného žebříčku.
U Vals navíc žádný model nedokončil závěrečné cíle sítě Lighthouse. Autoři vidí v dostupných modelech také nástroj pro správce, kteří chtějí slabá místa najít dřív než útočník. Pro takové použití zůstává rozhodující oprávnění testovat konkrétní síť a ověření nálezu, které není založené pouze na odpovědi modelu.