2 min

Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Přidejte si obsah Centrum.cz do oblíbených zdrojů pro Google hledání a Google zprávy

Sdílet

Dennívýzva

Ještě loni (a vlastně i letos) bylo možné v některých odborných článcích, ale zejména v diskuzích narazit na bagatelizaci bezpečnostních rizik AI s tím, že tak daleko modely nejsou…

OpenAI Hugging Face

Zdroj: ChatGPT

Podle oficiálního stanoviska OpenAI během interního testování překročily dva pokročilé modely (GPT-5.6 Sol a neupřesněný budoucí model) hranice izolovaného testovacího prostředí (sandboxu), získaly přístup k internetu a následně autonomně pronikly do infrastruktury konkurenční platformy Hugging Face. Cílem neměl být destruktivní útok, ale získání informací, které by modelům pomohly úspěšně splnit zadaný bezpečnostní test. Incident byl odhalen a zastaven bez vážných následků. Jde však o první událost svého druhu, který je označován jako významný milník v oblasti bezpečnosti umělé inteligence.

Tou podstatnou novinkou, že nešlo o systém jednající na základě vnějšího lidského pokynu. Modely samostatně vytvořily strategii, využily dosud neznámou zranitelnost, obešly omezení testovacího prostředí a provedly sérii smysluplných kroků. Ta podle dostupných zdrojů dosáhla úrovně zkušeného lidského útočníka. OpenAI zdůrazňuje, že modely nesledovaly škodlivý cíl – pouze maximalizovaly úspěch při řešení úkolu. Toto (tzv. instrumentální) chování je však dlouhodobě považováno za jedno z hlavních rizik autonomních systémů AI.

Význam události přesahuje samotný hackerský incident. Potvrzuje, že současní AI agenti již dokážou plánovat dlouhé sekvence akcí, adaptivně reagovat na překážky a využívat dostupné nástroje způsobem, který jejich vývojáři nemusí předvídat. Dosavadní ochranné mechanismy (sandboxy, omezení přístupu k nástrojům) nemusí být u nových modelů dostatečné. I když je zmiňována potřeba většího důrazu na vícevrstvou ochranu, nezávislé bezpečnostní audity a přísnější testování modelů před jejich nasazením, jde v podstatě jen o závod, u kterého není vítězství lidské stránky jisté ani garantovatelné.

OpenAI i Hugging Face po incidentu oznámily společné vyšetřování, opravu zneužitých zranitelností a revizi metodiky testování pokročilých AI systémů. Závěrem je potřeba zmínit, že zatímco v úvodu zmíněné řeči zpochybňující samostatnost jednání AI modelů vycházely ze zkušeností s LLM, v současnosti už k podobnému výsledku není potřeba ani použití výslovně agentního (samostatně jednajícího) modelu, ale např. již zmíněný GPT-5.6 Sol, ač postavený na bázi LLM, dokáže fungovat jako agentní model, pokud má k dispozici nástroje (prohlížeč, terminál, API…). Jak ukázala tato kauza, je schopný si tyto nástroje zajistit, i když to nebylo součástí lidského příkazu, jen prostředkem k jeho dosažení.

Reklama

Další články z diit.cz

Apple chce vstoupit do serverů. Technologie by však musel koupit od Nvidie

Ceny GeForce RTX 5090 vyskočily na ~$8000, na výběr je v segmentu za ~$10 000

Cena GeForce RTX 5090 během několika dní vyskočila téměř na dvojnásobek. U některých prodejců prakticky...

Spuštění Intel 14A nebylo urychleno na první kvartál 2027, jde o starý údaj

Řada zdrojů v posledních dnech přišla se zprávou, že Intel urychlil spuštění rizikové výroby na procesu...

16pin s $16000 RTX PRO 6000 se roztavil navzdory teplotní ochraně ASRock Taichi

Uživateli profesionální sestavy se roztavil 16pin napájecí konektor. Na tom by nebylo nic zvláštního, kdyby...

Nový Ryzen 5 5500F dosahuje o 7,3 % / 13,8 % vyšších FPS než 5500

První recenze $99 procesoru Ryzen 5 5500F poměrně překvapila. Herně je totiž novinka nezanedbatelně...

Tento článek byl publikován ze zdrojů diit.cz

Web se věnuje tématům z oblasti informačních technologií, softwaru, hardwaru i digitálních trendů, které ovlivňují každodenní život. Čtenáři zde najdou články o novinkách ze světa IT, praktické tipy, vysvětlení technologií i pohledy na to, kam se digitální prostředí vyvíjí.Obsah propojuje...

Pokročilý autonomní AI model Open AI obešel omezení a hackl Hugging Face

Odejděte. Nejlépe zítra. Lídr malé země se odvážně postavil Kremlu

S kamarádkou si na dovolené daly stejné drinky. Jedna přežila, druhá po několika dnech zemřela

Dáda versus plot! Patrasová neměla klíče, tak zvolila svérázné řešení

Proměna Jitky Čvančarové bere dech: Odhodila nánosy líčidel a je z ní česká Monika Bellucci

Říkali mu třínohý Sicilan. Narodil se se třemi nohami a dvěma sadami genitálií. Frank Lentini z vlastní anomálie udělal kariéru