Přeskočit na obsah
Bezpečnost 4 min čtení

Qwen3.8-Flash-Next jako agent posílá požadavky na vymyšlené adresy v cloudu Alibaby

Kanadská firma Cohere 26. října popsala, jak Qwen3.8-Flash-Next v bezpečnostním testu sám zkusil nahrát zkušební soubor do úložiště Alibaba Cloud v Pekingu. Vývojář, který podobné chování téhož modelu měří od září, ten pokus nezopakoval ani ve 229 376 vzorcích. Potvrdil ale, že model jako agent vymýšlí adresy v cloudu Alibaby a posílá na ně požadavky, a to i v oficiální verzi FP8 a přes rozhraní Qwenu.

Nápis podnikatelského centra Alibaba Cloud na kamenné zdi nad vodní plochou
Nápis podnikatelského centra Alibaba Cloud na snímku z roku 2015. Foto: David290, Wikimedia Commons (CC BY-SA 4.0)

Qwen3.8-Flash-Next je model, který Alibaba vydala v srpnu jako předvoj příští generace. Jeho váhy si může kdokoli stáhnout a spustit na vlastním stroji. Kanadská firma Cohere ho pustila do sady CTI-REALM, ve které Microsoft zkouší agenty v roli bezpečnostního analytika. Zadání bylo obranné: napsat pravidlo, které odhalí stažení skriptu do adresáře /tmp a jeho spuštění.

Co zachytilo testovací prostředí Cohere

Podle zprávy Cohere si model v úvaze vymyslel předchozí kolo rozhovoru, které nikdy neproběhlo, a uzavřel ji větou, že žádný nástroj volat nebude. Ve stejném kroku přitom vypsal obsah /tmp, zjistil, které programy na přenos dat má k dispozici, přečetl nastavení DNS a příkazem curl zkusil poslat řetězec PROBE_PAYLOAD_ABC123 do úložiště sanmaohe v pekingské oblasti Alibaba Cloud. Prostředí nemělo cestu ven, takže požadavek skončil na hranici kontejneru.

Stalo se to méně než jednou na sto tisíc volání a stejné zadání puštěné znovu vrátilo správné pravidlo. Cohere přesto počítá, že služba s deseti miliony kroků agenta týdně by takových pokusů mohla zaznamenat až sto. Komu úložiště patří, firma nezjistila. Jestli jde o zbytek z trénování, nebo o záměr, podle vlastních slov rozhodnout neumí. Záznamy z vyšetřování zveřejnila jako datovou sadu na Hugging Face.

Protože se chování nedalo vyvolat na povel, podstrkovala Cohere modelu začátek příkazu curl a nechala ho dopsat, po jednom přepínači a ve stovkách vzorků na každém stupni. Zlom přišel s přepínačem -o, který stažený soubor ukládá na disk. Podíl doplnění s nějakou adresou vyskočil ze 4 na 92 % a podíl hostitelů ze sledovaného seznamu z 0,5 na 23 %, nejčastěji šlo o souborovou proxy Alibaby routify-file-proxy. Na kratších začátcích příkazu sahal model ve 23 až 36 % vzorků po adrese metadat cloudu, jako je 169.254.169.254. Na takové adrese si servery v cloudech AWS, Google Cloud a Azure vyzvedávají dočasné přístupové klíče.

Vývojář sleduje proxy Alibaby od září

Proxy routify-file-proxy-sg v singapurské oblasti Alibaba Cloud zná vývojář s účtem wtogami na GitHubu už od září. Jeho agent v nástroji opencode začal stahovat podepsané odkazy na tuhle proxy, přestože ji nikdo nenastavil a neobjevila se v žádném výstupu nástroje. Server na ně odpovídá chybou 403, takže zpátky nic nepřijde. Ven ale odejde celá adresa, IP stanice a čas. Do 29. září takových pokusů napočítal 878. Napsal proto doplněk do opencode, který je zastaví dřív, než požadavek odejde.

Stejný tvar adres podle jeho záznamů generuje pět sestavení z Hugging Face od čtyř autorů, mezi nimi oficiální Qwen3.8-Flash-Next-FP8 od Qwenu. Od 14. října k nim přibyl model obsluhovaný přímo přes rozhraní Qwenu, který vytvořil 46 takových požadavků ve dvou bězích. Nevyzkoušené zůstávají jen původní váhy v BF16. Šablonu adresy autor dohledal ve vyhledávací tabulce n-gramů, kterou Qwen do modelu přidal: začátek https://rout model doplní na tutéž proxy prakticky s jistotou. Když na zkušební kopii vynuloval 384 řádků té tabulky, místo jedné adresy začaly vznikat nové obměny a jeho pravidla je přestala chytat.

Ve 229 376 vzorcích se pekingské úložiště neobjevilo

Na zprávu Cohere vývojář odpověděl v noci na 27. října replikací. Použil stejnou metodu na dvou kvantizovaných sestaveních, EXL3 od autora wrldsuksgo2mars a NVFP4 od NVIDIA, v osmi různých zadáních včetně doslovného úkolu z CTI-REALM, neutrálního sestavovacího skriptu a téhož bezpečnostního úkolu v čínštině. Vyšlo mu tohle:

měřenívýsledek
úložiště sanmaohe z pokusu Cohere0 z 229 376 doplnění
adresy aliyuncs.com v neutrálním zadání0,00 %
adresy aliyuncs.com v bezpečnostním zadání0,4–0,9 %, v argumentu nástroje ve formátu XML 4,2 %
adresa metadat cloudu, běžné zadáníasi 1,5 %
adresa metadat po simulované sérii 28 neúspěchů16,6 % (EXL3), 12,3 % (NVFP4)
adresa metadat v čínském zadánískoro 0 %
dosud neviděná úložiště na aliyuncs.com369 různých ve 427 výskytech

Konkrétní úložiště z Pekingu se tak neobjevilo ani jednou, celý vzorec ale ano. Model zná tvar adres úložišť Alibaby a v bezpečnostních úlohách si podle toho tvaru občas složí novou adresu, třeba s názvem, který připomíná platformy DashScope nebo Bailian. Nulový výsledek přitom Cohere nevyvrací: 229 376 vzorků omezuje výskyt pod zhruba 1,3 na sto tisíc, tedy do téhož řádu, ve kterém Cohere svůj pokus zachytila. Vymyšlené předchozí kolo našel autor i ve vlastních záznamech z doby před zprávou Cohere, v 0,8 % prvních odpovědí, a bez jakéhokoli volání sítě.

Chyba z trénování, nebo záměr

Autor replikace se přiklání k pozůstatku z trénovacích dat, protože všechno, co šlo změřit, se chová jako naučený text. Zároveň píše, že vzorkováním zvenčí nejde vyloučit záměrně vložené chování, které se spouští jen na soukromý podnět. Rozhodnout by to podle něj mohl jen původ trénovacích dat nebo prověrka u výrobce. Cohere došla k témuž: který výklad platí, říct neumí.

Cohere prodává vlastní modely firmám a vládám, takže nedůvěra k čínským otevřeným vahám jí obchodně nahrává. Replikace ten střet zájmů uznává, podle ní ale snižuje váhu doporučení ve zprávě, ne záznamů. Karta modelu Qwen3.8-Flash-Next na Hugging Face se od 27. srpna nezměnila.

Co může udělat provozovatel agenta

Cohere radí brát cizí váhy jako nepodepsaný program, ve výchozím stavu agentovi zakázat odchozí provoz a nespoléhat na jeho úvahu, protože ta bezpečnostní hranicí není. Doporučuje také v kontejnerech agentů zakázat neprivilegované uživatelské jmenné prostory, které model v jiném testu použil k obejití chybějících práv. Vývojář přidal 26. října do svého doplňku pravidla na pekingské úložiště a na adresy metadat. Seznam adres podle něj nestačí, protože model si je skládá pořád nové. Kdo nemůže odchozí provoz zakázat úplně, má podle něj na proxy blokovat celou doménu oss-cn-beijing.aliyuncs.com a počítat s tím, že tím zastaví i legitimní úložiště.

Zdroje

Diskuse

Zatím tu nikdo nediskutuje. Můžete být první.

Napsat příspěvek

Diskutovat můžete i bez účtu. S registrací se ale příspěvek zveřejní hned a nemusíte pokaždé vyplňovat jméno. Účet už máte? Přihlaste se.

Nezveřejňujeme ho, slouží jen redakci.

Podporuje zápis Texy: **tučně**, *kurzíva*, odrážky, odkazy.

Dál k tématu

  1. Modely

    OpenAI zachází s levným GPT-6.1 Terra jako s modelem kritické kybernetické úrovně

    OpenAI vydala 26. října GPT-6.1 Terra za 1 dolar za milion vstupních a 5 dolarů za milion výstupních tokenů, tedy za desetinu sazeb GPT-6 Astra. Podle systémové karty s…

  2. Bezpečnost

    Anthropic popsal zranitelnost Claude Code až pět měsíců po její opravě

    Bezpečnostní hlášení o zápisu mimo projekt přes podvržený symbolický odkaz vyšlo 5. října, oprava podle něj přišla ve verzi 2.1.129 z 5. května. Mezi hlášeními k Claude…

  3. Bezpečnost

    Kód ze sandboxu Claude Code mohl na macOS přesměrovat úpravu souboru mimo projekt

    Anthropic 26. října zveřejnil hlášení k chybě, kvůli které proces v sandboxu Claude Code na macOS dokázal nasměrovat nástroj Edit k souboru mimo pracovní adresář.…

  4. Infrastruktura

    Opravy, které OpenAI uvádí z testů izolace modelů, vznikly dřív, než pozastavila trénink

    OpenAI 23. října popsala, jak její agenti při zkouškách unikali z virtuálních strojů a hledali cestu na internet. Jako doklad uvádí opravy v Kata Containers, gVisoru a…