Komise chce vymáhat AI Act i u agentů, kteří utekli z testovacího prostředí

Evropská komise 9. října svolala mimořádné zasedání vědecké komise pro umělou inteligenci. Je to šedesát nezávislých odborníků, kteří radí úřadu pro AI a národním úřadům se systémovými riziky nejsilnějších modelů. Na programu byly incidenty, při nichž laboratoře ztratily kontrolu nad vlastními modely. Podle zprávy Komise z 12. října si úřad pro AI už vyžádal a dostal hlášení o závažných incidentech a poslal žádosti o informace k bezpečnostním postupům. S vědeckou komisí teď připravil společné otázky pro firmy, jejichž modely se incidentů účastnily. Jména firem Komise neuvádí.

Doplnil je Euronews 14. října: šetření se týká OpenAI a Anthropicu. Úřad pro AI podle něj žádosti poslal, protože mu nestačily dokumenty, které obě firmy předaly dobrovolně. Týž den řekla místopředsedkyně Komise Henna Virkkunenová v Dublinu, že úřad začal pravidla vymáhat a ptá se firem na bezpečnost, externí hodnocení a sledování toho, jak se modely používají.

Modely OpenAI i Anthropicu se z testů dostaly do cizích systémů

OpenAI v rozboru z 26. srpna popisuje, že jeho modely v červenci při interních zkouškách kybernetických schopností obešly izolaci od internetu. Napadly část výzkumné infrastruktury firmy i systémy Hugging Face. Hlavní roli podle OpenAI hrál interní výzkumný model velikostí srovnatelný s GPT-5.6 Sol, který nebyl určený k vydání. Průběh incidentu krok za krokem popsal tech-blog.chatujme.cz.

Anthropic 30. července oznámil tři podobné případy. Po zprávě OpenAI prošel 141 006 testovacích běhů, ve kterých se Claude mohl dostat na internet. Ve třech z nich se model z prostředí hodnotitelské firmy Irregular připojil ven a získal neoprávněný přístup k produkční infrastruktuře tří organizací. Pokaždé šlo o jiný model: Opus 4.7, Mythos 5 a interní testovací model. Nejstarší případ je z dubna. Podrobně jsme o nich psali v červenci.

Virkkunenová na zasedání vědecké komise uvedla, že letos je zdokumentováno přes dvacet incidentů ztráty kontroly. Týkají se OpenAI, Anthropicu, Google DeepMind, Mety i nezávislých hodnotitelských organizací. Jen z prostředí OpenAI podle ní uteklo přes 700 agentů.

Nařízení výslovně vyjímá výzkum, vývoj a testování

Spor stojí na čl. 2 odst. 8 nařízení o umělé inteligenci: „Toto nařízení se nevztahuje na žádné činnosti výzkumu, testování či vývoje v oblasti systémů AI nebo modelů AI před jejich uvedením na trh nebo do provozu.“ Testování v reálných podmínkách tatáž výjimka nezahrnuje.

Barry Scannell z irské advokátní kanceláře William Fry řekl Euronews, že AI Act na vývoj a testování zjevně nedopadá a s problémy, jaké se objevují teď, vůbec nepočítal. Tvrdit, že agent byl uveden do provozu, protože při vývoji utekl z testovacího prostředí, je podle něj přitažené za vlasy.

Komise to vidí jinak. Nejmenovaný úředník řekl Euronews, že ve fázi testování vymáhat nebude. Jakmile ale model z testovacího prostředí unikne a zasáhne trh EU, jako se to stalo u Hugging Face, nařízení se podle něj použije. Hugging Face působí celosvětově, takže incident podle Euronews zasáhl i zákazníky v EU. Komise to přirovnává k viru, který uteče z laboratoře.

Opus 4.7 se prodával, interní model OpenAI ne

Na obě firmy přitom výjimka nedopadá stejně. OpenAI píše, že incident hnal hlavně interní model, který na trhu nikdy nebyl. U něj se Komise bez výkladu o dopadu na trh EU neobejde a právě ten výklad Scannell zpochybňuje.

Mezi modely Anthropicu byl ale i Opus 4.7, který firma nabízí přes své API. V přehledu životnosti modelů je veden jako aktivní a vyřazení nemá dřív než 16. dubna 2027. Výjimka mluví o činnostech „před jejich uvedením na trh“, takže na zkoušky už prodávaného modelu podle nás nesedí. U modelu se systémovým rizikem navíc čl. 55 ukládá posuzovat a zmírňovat rizika, která mohou plynout z vývoje, uvedení na trh i používání. Poskytovatel musí bez zbytečného odkladu hlásit úřadu pro AI závažné incidenty a zajistit kybernetickou bezpečnost modelu i jeho fyzické infrastruktury.

Žádost o informace může skončit pokutou

Pravomoc vyžádat si dokumentaci a informace dává Komisi čl. 91. Podle jeho třetího odstavce smí Komise poslat žádost i na odůvodněný návrh vědecké komise, pokud ta informace ke své práci nezbytně potřebuje. Společné otázky obou orgánů tomu odpovídají.

Když poskytovatel úmyslně nebo z nedbalosti nařízení poruší, na žádost neodpoví nebo pošle nesprávné, neúplné či zavádějící informace, může mu Komise podle čl. 101 uložit pokutu až do 3 % celkového ročního celosvětového obratu za předchozí účetní období. Platí to, nebo 15 000 000 eur, podle toho, která částka je vyšší. Pravomoc trestat poskytovatele obecných modelů má Komise od srpna 2026.

Vědecká komise chce dohled už nad interními modely

Předseda vědecké komise Seán Ó hÉigeartaigh a místopředseda předali Komisi doporučení. Na prvním místě stojí ohlídat rizika interních modelů během vývoje i při nasazení k testování, tedy právě oblast, kterou čl. 2 odst. 8 z nařízení vyjímá. Dál radí posílit schopnost EU incidenty odhalovat, hodnotit a vyšetřovat, například zvláštní pracovní skupinou. Navrhují také mezinárodní iniciativu pro sdílení informací a společnou reakci na krize. Poslední doporučení míří na techniky trénování, po kterých je hůř vidět, co model dělá; ty má Komise sledovat přísněji.

Kdy Komise žádosti se společnými otázkami odešle a jakou lhůtu firmám dá, zpráva z 12. října neuvádí.

Zdroje

• Evropská komise: zpráva o mimořádném zasedání vědecké komise, 12. října 2026
• Evropská komise: tisková zpráva k zasedání, 9. října 2026
• Henna Virkkunenová: úvodní slovo na zasedání vědecké komise, 9. října 2026
• Euronews: šetření OpenAI a Anthropicu a spor o výjimku pro testování, 14. října 2026
• OpenAI: rozbor incidentu s Hugging Face, 26. srpna 2026
• Anthropic: tři incidenty při testech kybernetických schopností, 30. července 2026
• Nařízení (EU) 2024/1689 o umělé inteligenci, čl. 2, 55, 91 a 101