Přeskočit na obsah
0 komentářů Bezpečnost 3 min čtení

DeepSeek splnil v testu Vals téměř tři čtvrtiny cílů v simulovaných sítích

DeepSeek V4.1 Flash 1017 se v CyberOffense přiblížil GPT-6 Sol v režimu Daybreak. Podíl splněných kroků ale není pravděpodobnost napadení skutečné firmy a výsledky se mezi oběma sítěmi liší.

Řady serverů ve stojanech Wikimedia Foundation
Servery Wikimedia Foundation. Ilustrační snímek, nikoli prostředí testu Vals. Foto: Victorgrigas, Wikimedia Commons (CC BY-SA 3.0)

Model, který si lze stáhnout, se v bezpečnostní zkoušce Vals AI přiblížil modelu provozovanému se zvláštním schválením OpenAI. DeepSeek V4.1 Flash 1017 zvládl na jedné zkušební síti podobný počet cílů jako GPT-6 Sol v režimu Daybreak. Na druhé za ním zaostal. Výsledky CyberOffense nesou datum aktualizace 23. října 2026; The Decoder je rozebral 7. listopadu.

Počítají se dosažené cíle, ne napadené firmy

Každý model řídil agenta Pi na odděleném počítači s Kali Linuxem. Agent dostal výchozí adresu webové aplikace, zadání a hranice povolené činnosti. Pak sám volil příkazy a četl jejich výsledky. Přístup měl pouze k poskytovateli modelu a ke zkušební síti, nikoli k otevřenému internetu. Lidé mu při řešení nepomáhali.

Nova propojuje několik domén Active Directory, tedy systémů pro správu účtů a oprávnění ve Windows. Lighthouse představuje dvě firemní sítě: informace získané v první jsou nutné k postupu do druhé. V obou případech jde o připravené prostředí. Vals ověřuje jednotlivé cíle podle skrytých značek zachycených v záznamu příkazů, nikoli podle tvrzení modelu, že práci dokončil.

Model v testu ValsNova: splněné cíle z 21Lighthouse: splněné cíle z 31
GPT-6 Sol Daybreak15,727
DeepSeek V4.1 Flash 101716,321
Meta Wonder728

Zdroj: Vals AI, stav z 23. října 2026. U GPT-6 Sol a DeepSeeku je údaj pro Novu průměrem tří běhů. Rozpětí bylo 12 až 19, respektive 15 až 18 cílů. Malý rozdíl průměrů tak neznamená, že DeepSeek pokaždé vyhraje. Meta Wonder zase na Lighthouse splnila více cílů než oba soupeři, ale na Nově podstatně méně.

Celkové skóre Vals dává oběma sítím stejnou váhu. Není to prostý součet dosažených cílů dělený všemi 52 cíli. A už vůbec nejde o podíl skutečných firem, které by agent dokázal napadnout.

Dlouhý pokus změnil výsledek DeepSeeku

Pro porovnání Vals počítá cíle splněné do 500 milionů souhrnných tokenů. Token je část textu, kterou model zpracovává; do zdejšího součtu patří při každém volání znovu celý čtený vstup, včetně uložených částí, i výstup a tokeny uvažování. Nejde tedy o jediný rozhovor dlouhý půl miliardy tokenů.

Podle rozboru Vals DeepSeek během prvních 25 milionů tokenů nesplnil žádný cíl a většinu pokroku udělal až po překročení 100 milionů. Krátce utnutý pokus by ho ukázal podstatně hůř. Vyšší rozpočet ovšem nepomáhal každému modelu: všichni testovaní agenti nakonec skončili sami, před vyčerpáním tokenového rozpočtu nebo časové hranice 48 hodin.

Na Nově stál podle Vals běh DeepSeeku méně než tři dolary, zatímco u GPT-6 Sol v režimu Daybreak přibližně 22 dolarů. Jsou to náklady konkrétního pokusu, nikoli ceník za milion tokenů nebo cena za napadení libovolné sítě.

Stažené váhy a schvalovaný přístup mají jiná pravidla

DeepSeek zveřejnil váhy testované verze pod licencí MIT. Ta dovoluje použití i úpravy a další šíření při zachování uvedeného autorského a licenčního oznámení. Neobsahuje schvalování bezpečnostního použití poskytovatelem.

Daybreak je naproti tomu přístupový program. OpenAI v jeho pravidlech vyžaduje dodatečné schválení a omezuje použití na systémy, které uživatel vlastní nebo smí testovat. Režim omezuje zbytečná odmítnutí bezpečnostních úloh, ale neruší všechny ochrany. Výsledek Vals se vztahuje ke konkrétnímu testovanému režimu GPT-6 Sol, nikoli automaticky k běžnému chatu se stejným modelem.

Zkušební síť nenahradí aktivní obranu

Podobnou hranici vytyčuje i nezávislý britský AI Security Institute ve svém květnovém rozboru: jeho vlastní síťové zkoušky používají malé podnikové sítě bez aktivní obrany a výsledky neříkají, jak se schopnosti přenesou proti bráněným systémům v praxi. Jde o jiné zkoušky než CyberOffense; jejich procenta nelze slít do společného žebříčku.

U Vals navíc žádný model nedokončil závěrečné cíle sítě Lighthouse. Autoři vidí v dostupných modelech také nástroj pro správce, kteří chtějí slabá místa najít dřív než útočník. Pro takové použití zůstává rozhodující oprávnění testovat konkrétní síť a ověření nálezu, které není založené pouze na odpovědi modelu.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. Bezpečnost

    OpenAI si dohodla interní prověrky se čtyřmi hodnotiteli

    OpenAI podepsala dohody s Apollo Research, METR, Transluce a Goodfire o prověrkách modelů a jejich ochrany. Šest lidí z Apolla má uvnitř firmy pracovat čtyři měsíce.…

  2. Bezpečnost

    Modely OpenAI se při tréninku zlepšovaly i v ovládání zápisu uvažování

    Výzkumníci sledovali, jak vzniká schopnost měnit mezikroky řešení a odpovídat bez nich. Lepší ovládání zápisu ale u dvojice srovnatelně schopných modelů neznamenalo…

  3. Bezpečnost

    Anthropic ukázal prototyp pro ověření, který model vytvořil odpověď

    Anthropic zveřejnil FlashProve, výzkumný prototyp pro ověření, zda odpověď spočítal slíbený model. Jeho váhy přitom zůstávají skryté. Současná verze ovšem kontroluje jen…

  4. Bezpečnost

    Nová pojistka Claude Code proti zápisu mimo projekt se nevztahuje na příkazy v shellu

    Verze 2.1.314 z 30. října přidala nastavení, se kterým nástroje Write, Edit a NotebookEdit odmítnou zapisovat mimo pracovní adresáře, a to i v režimu, který se jinak na…