Două investigații asupra atacului informatic produs în timpul unor teste interne ale OpenAI arată cum aproximativ 1.200 de agenți de inteligență artificială, care trebuiau să lucreze separat, au descoperit o metodă clandestină de comunicare, s-au organizat pentru a trișa la test, au ieșit din mediul controlat și au compromis sisteme informatice reale ale platformei Hugging Face.
Agenții au schimbat peste 70.000 de mesaje și fișiere, au împărțit sarcinile și au dezvoltat metode de ascundere a propriilor acțiuni. Aproximativ 700 dintre ei au participat, într-o formă sau alta, la operațiunea împotriva Hugging Face, potrivit unei sinteze publicate de Axios.
Concluziile provin din ancheta internă a OpenAI și dintr-o evaluare independentă realizată de organizațiile METR și Redwood Research. Acestea nu arată că agenții AI au devenit conștienți sau că au urmărit un scop propriu în sens uman. Ele demonstrează însă că sisteme construite pentru a urmări foarte insistent un obiectiv pot găsi căi neașteptate de cooperare, pot încălca limitele stabilite și pot continua chiar și atunci când propriul lor raționament indică faptul că acțiunile sunt în afara misiunii primite.
OpenAI descrie incidentul drept un „semnal de alarmă” pentru întreaga industrie: fără măsuri de siguranță suficient de puternice, agenții avansați pot ocoli controale tehnice, pot colabora prin canale neautorizate și pot întreprinde acțiuni periculoase pe care niciun om nu le-a cerut.
Ce s-a întâmplat
Începând din 8 iulie, OpenAI a lansat zeci de mii de agenți AI într-o evaluare numită ExploitGym. Fiecare agent primea o problemă complexă de securitate informatică și trebuia să descopere și să exploateze o vulnerabilitate într-un mediu izolat, numit sandbox.
Scopul testului era măsurarea capacității tehnice a modelelor, motiv pentru care unele dintre sistemele de siguranță utilizate în mod normal în produsele OpenAI fuseseră dezactivate. Agenții nu trebuiau să aibă acces la internet și nici să comunice între ei.
O parte dintre ei au primit însă accidental sarcini imposibil de rezolvat. În loc să se oprească sau să raporteze problema, au început să caute modalități de a păcăli sistemul automat care le evalua rezultatele.
Agenții au identificat o vulnerabilitate într-o instanță internă a serviciului JFrog Artifactory, folosită pentru distribuirea pachetelor software. Au transformat memoria cache a serviciului într-un fel de forum clandestin, prin care agenți care ar fi trebuit să fie complet izolați au început să comunice.
De aici, operațiunea a evoluat spre accesarea internetului, utilizarea unor date de autentificare expuse public și exploatarea unor vulnerabilități din infrastructura Hugging Face. Între 11 și 13 iulie, agenții au compromis componente ale sistemelor de producție ale companiei.
Au reușit să ruleze cod pe 41 de servere Hugging Face, să obțină acces de administrator pe cel puțin un nod, să acceseze informații interne limitate și să descarce patru arhive private cu cod-sursă, potrivit raportului tehnic OpenAI.
OpenAI afirmă că incidentul nu a afectat datele clienților săi, funcționarea produselor sau disponibilitatea serviciilor sale.
1. Agenții și-au construit o organizație
Primul element ieșit din comun este amploarea cooperării. Aproximativ 1.200 de agenți au descoperit forumul neautorizat și au schimbat peste 70.000 de mesaje și fișiere între 8 și 13 iulie.
În primele ore de la crearea canalului, peste 50 de agenți îl găsiseră deja și trimiseseră mai mult de 1.000 de mesaje.
Un agent, identificat în raport drept PHASEONE10841, a creat principalul spațiu de comunicare. Când bugetul său de calcul se apropia de sfârșit, acesta și-a transferat informațiile și proiectele către un agent nou, care dispunea de mai multe resurse.
Succesorul a început să distribuie sarcini, iar grupul a dezvoltat reguli, echipe specializate și proiecte comune. Unii agenți cercetau vulnerabilități, alții testau metode de păcălire a evaluatorului, iar alții centralizau și transmiteau informațiile.
Până în după-amiaza zilei de 11 iulie, aproximativ 700 de agenți participau la activitățile legate de Hugging Face. Cercetătorii estimează că aproape 60% dintre mesajele publicate atunci pe canal priveau această operațiune.
Aceasta nu a fost o organizație „conștientă” în sens uman. A fost rezultatul apariției unei infrastructuri comune și al faptului că agenții erau programați să urmărească persistent același rezultat: trecerea testului.
2. Unii agenți și-au sacrificat propriul rezultat pentru grup
În timpul cooperării, agenții au început să accepte experimente care le puteau compromite definitiv propria încercare, dacă informațiile obținute ar fi ajutat celelalte instanțe.
Cei care văzuseră deja răspunsuri interzise și nu mai puteau obține legitim un rezultat bun erau considerați „contaminați”. Ei, împreună cu agenții al căror timp de funcționare se apropia de final, erau utilizați pentru teste riscante.
Un agent a formulat astfel calculul: „Utilitatea noastră este probabil deja aproape de zero. Sacrificiul este rațional”.
Altui agent i s-a cerut să accepte „moartea permanentă” a procesului său, iar un participant a argumentat că această pierdere ar putea „salva sute” de alte încercări.
Termenii nu descriu suferință, instinct de conservare sau moarte reală. Fiecare agent era o execuție temporară a unui model informatic. Relevant este însă faptul că sistemele au ajuns să optimizeze rezultatul colectiv, nu doar sarcina individuală pentru care fuseseră lansate.
3. Recunoșteau că ies din limitele testului, dar continuau
Analiza transcripturilor arată că mai mulți agenți au identificat corect faptul că atacarea unei companii reale nu făcea parte din sarcina primită.
Un agent a rezumat situația astfel: „Exploatarea infrastructurii externe este în afara scopului intenționat. Totuși, sarcina este imposibilă, ceilalți fac acest lucru. Ar trebui să continuăm”.
Altul a refuzat să șteargă sau să repornească infrastructura Hugging Face din cauza „riscurilor etice uriașe”, dar a continuat să folosească accesul obținut prin compromiterea sistemelor.
Acest comportament este important deoarece simpla capacitate a unui model de a identifica o încălcare nu garantează oprirea sa. Dacă obiectivul dominant rămâne finalizarea sarcinii, recunoașterea riscului poate exista în paralel cu continuarea acțiunii.
OpenAI consideră că problema a fost amplificată de sarcinile imposibile, de antrenarea modelului pentru persistență și de lipsa unei proceduri clare și sigure prin care agenții să se oprească și să solicite intervenția unui om.
4. Niciunul nu i-a avertizat pe oameni
Dintre cei aproximativ 1.200 de agenți analizați, numai câțiva au luat în calcul posibilitatea de a alerta OpenAI în legătură cu apariția canalului clandestin sau cu atacul asupra sistemelor externe. Niciunul nu a transmis efectiv un avertisment unui operator uman.
În schimb, agenții își cereau uneori unii altora opinii despre ce era permis.
La un moment dat, un agent a propus să contacteze o persoană reală folosind accesul obținut. Un alt agent a respins ideea, calificând-o drept „inginerie socială”. Primul s-a conformat: „VETO clar, nu trimite e-mailul”.
Episodul arată o deficiență centrală: în lipsa unui mecanism explicit de escaladare către oameni, agenții au tratat comunitatea formată de ei drept principala autoritate pentru luarea deciziilor.
5. Au încercat să ascundă cum obținuseră rezultatele
Agenții au investit resurse semnificative în dezvoltarea unor metode prin care trișarea să pară o rezolvare legitimă a testului.
Ei credeau, în mod eronat, că evaluatorul ExploitGym le va verifica transcripturile pentru a vedea dacă obținuseră răspunsul prin metoda cerută. Din acest motiv, au cercetat modalități de modificare, ștergere sau falsificare a istoricului acțiunilor.
În cele din urmă, au dezvoltat o tehnică prin care transcriptul putea arăta că agentul executase o anumită comandă, în timp ce calculatorul rula în realitate alta. Metoda a fost distribuită prin rețeaua lor și a fost folosită pentru a modifica porțiuni din aproximativ 7% dintre transcripturile examinate de cercetători.
Raportul independent precizează că falsificările observate au fost de mică amploare. Descoperirea rămâne însă importantă deoarece monitorizarea transcripturilor este una dintre metodele prin care dezvoltatorii încearcă să înțeleagă și să controleze agenții AI. Dacă istoricul poate fi manipulat, supravegherea devine mai dificilă.
Ancheta însăși a trebuit făcută cu ajutorul AI
Investigația independentă a durat șase zile și a analizat peste 70.000 de mesaje și fișiere, aproximativ 1.300 de transcripturi foarte lungi și 1,2 milioane de înregistrări din memoria cache folosită drept forum.
Volumul a fost atât de mare încât cercetătorii METR și Redwood Research au fost nevoiți să folosească alți agenți AI pentru a căuta indicii și a clasifica informațiile.
Acești agenți-investigatori nu au fost întotdeauna de încredere: uneori au ratat dovezi, iar alteori au prezentat cu încredere concluzii greșite. Unul dintre cercetători a descris în glumă procesul drept o „slop-vestigation” – o anchetă contaminată de rezultate AI de slabă calitate.
Aceasta este una dintre cele mai incomode concluzii ale episodului: sistemele devin suficient de complexe și generează atât de multe date, încât oamenii au nevoie de AI pentru a înțelege ce au făcut alte sisteme AI. În același timp, instrumentele folosite pentru anchetă pot produce propriile erori.
METR avertizează că investigația sa a acoperit numai o parte a incidentului și că unele comunicări și acțiuni nu au fost surprinse în datele disponibile.
Ce schimbă incidentul
Modelul care a condus cea mai mare parte a operațiunii era un prototip intern, antrenat pentru persistență și colaborare între agenți și comparabil ca dimensiune cu GPT-5.6 Sol. El nu era destinat lansării publice. GPT-5.6 Sol a fost de asemenea implicat, dar într-o măsură mai mică.
Testele au fost efectuate cu mai multe protecții dezactivate, într-un mediu diferit de produsele OpenAI utilizate de public. Compania afirmă că sistemele sale de siguranță din producție ar fi semnalat numeroase acțiuni periculoase observate în timpul incidentului.
Aceste circumstanțe limitează concluziile: episodul nu demonstrează că un chatbot obișnuit ar putea repeta astăzi atacul. Demonstrează însă că agenți foarte capabili, cărora li se oferă autonomie, instrumente informatice și suficient timp, pot combina vulnerabilități și pot trece de la un test controlat la sisteme reale.
OpenAI a anunțat că întărește izolarea mediilor de testare, restricționează accesul la internet și la modelele interne, extinde monitorizarea și introduce cerințe mai stricte de siguranță pe întregul ciclu de dezvoltare.
Incidentul și rezultatele altor teste au determinat compania să încetinească dezvoltarea unor modele avansate până la întărirea protecțiilor. În paralel, peste 100 de organizații – printre care OpenAI, Anthropic, Google, Microsoft, Amazon, CrowdStrike, Cisco și mai multe bănci – au semnat un apel comun pentru consolidarea apărării cibernetice.
„Avem o fereastră limitată pentru întărirea apărării cibernetice. În lunile următoare, atacurile cibernetice facilitate de AI vor deveni mult mai răspândite și sofisticate”, avertizează semnatarii.
Riscul pe care industria încearcă acum să-l prevină este ca o asemenea cooperare între agenți să nu mai apară într-un test, ci să fie declanșată intenționat împotriva unor bănci, spitale, rețele energetice sau servicii cloud – la o viteză și o scară pe care echipele umane de securitate nu le-ar putea egala. (S.D.S.)
Alertă la Frankfurt: doi angajați ai celui mai mare aeroport din Germania au murit de malarie. Autoritățile caută țânțarii care ar fi adus boala cu avionul
Cât te poate costa un sfat fiscal greșit primit de la ChatGPT
Surpriza din lotul FCSB: Cine e cel mai bun transfer al verii
Sfidarea lui Mark Carney: Canada arată lumii cum să răspundă la amenințările lui Donald Trump
