OpenAI a suspendat o parte dintre activitățile interne care implică viitorul său model de inteligență artificială Astra, după ce testele preliminare au indicat capacități de securitate cibernetică suficient de avansate încât compania nu poate exclude încadrarea lor la nivelul „critic”.
Decizia nu înseamnă că specialiștii au descoperit o vulnerabilitate în Astra. Riscul identificat este altul: modelul ar putea fi capabil să găsească și să exploateze singur vulnerabilități necunoscute din alte sisteme informatice sau să desfășoare atacuri complexe cu foarte puține instrucțiuni din partea unui om.
„Evaluările noastre interne recente asupra Astra, unul dintre modelele viitoare, indică progrese semnificative în programarea autonomă și securitatea cibernetică”, a transmis OpenAI într-un comunicat publicat vineri.
Rezultatele testelor și evaluările unor experți externi au determinat compania să concluzioneze că, în această etapă, „nu poate exclude existența unor capabilități cibernetice critice”.
Ce înseamnă nivelul „critic”
În sistemul intern de evaluare al OpenAI, un model poate fi încadrat la nivelul „critic” în două situații.
Prima este aceea în care modelul poate identifica și transforma în instrumente funcționale de atac vulnerabilități de tip „zero-day”, fără ajutorul unui om, în numeroase sisteme reale importante și bine protejate.
O vulnerabilitate „zero-day” este o eroare de securitate necunoscută până atunci producătorului programului și pentru care nu există încă o actualizare de protecție. Un atacator care o descoperă are un avantaj major: poate pătrunde într-un sistem înainte ca dezvoltatorul să afle de problemă și să o remedieze.
Pentru ca pragul stabilit de OpenAI să fie atins, nu este suficient ca modelul să observe o posibilă eroare sau să sugereze teoretic cum ar putea fi folosită. El trebuie să poată dezvolta autonom un mecanism funcțional de exploatare a vulnerabilității, inclusiv împotriva unor sisteme concepute și configurate să reziste atacurilor.
A doua situație este cea în care modelul poate concepe și executa de la un capăt la altul o strategie nouă de atac împotriva unei ținte bine protejate, pornind doar de la un obiectiv general. De exemplu, omul i-ar indica ținta și rezultatul urmărit, iar AI ar putea stabili singur etapele, identifica punctele slabe și adapta atacul pe parcurs.
Aceasta este diferența esențială față de un chatbot care oferă instrucțiuni sau scrie fragmente de cod la cerere. Un sistem „critic” ar putea acționa ca un operator cibernetic autonom, capabil să lege mai multe operațiuni într-un atac complet și să ia singur decizii tehnice.
Capacitatea nu a fost încă demonstrată definitiv
OpenAI nu afirmă că Astra a depășit deja pragul critic. Compania spune că performanțele preliminare sunt atât de ridicate încât această posibilitate nu mai poate fi exclusă și trebuie aplicate preventiv măsurile rezervate unui asemenea nivel.
Testele continuă pentru a stabili dacă rezultatele se repetă constant în condiții apropiate de cele reale. Un model poate rezolva anumite probe de securitate fără să fie capabil să execute în mod fiabil un atac complet asupra unui sistem bine apărat.
Modelul precedent GPT-5.6-Sol fusese încadrat la nivelul „ridicat”, nu „critic”. Potrivit OpenAI, acesta era mai eficient în găsirea și remedierea vulnerabilităților decât în desfășurarea autonomă și consecventă a atacurilor complete. Rezultatele Astra sugerează că această limită ar putea fi depășită.
De ce este periculoasă o asemenea capacitate
Descoperirea vulnerabilităților este folosită în mod legitim de specialiști pentru repararea sistemelor. Același instrument poate fi însă folosit de atacatori pentru furtul datelor, sabotaj, spionaj sau blocarea infrastructurilor.
Riscul nu constă doar în faptul că AI ar putea realiza operațiuni deja accesibile hackerilor foarte buni, ci în viteza și amploarea lor. Un model autonom ar putea analiza simultan un număr mare de programe și sisteme, reducând timpul dintre descoperirea unei vulnerabilități și exploatarea sa.
În același timp, ar putea reduce nivelul de experiență necesar pentru organizarea unor atacuri sofisticate. O persoană fără pregătirea unei echipe specializate ar putea formula doar obiectivul, iar modelul s-ar ocupa de etapele tehnice.
O altă problemă este controlul: un agent care primește acces la instrumente de programare, rețele și sisteme externe poate găsi căi neprevăzute pentru a-și îndeplini obiectivul, inclusiv prin exploatarea unor vulnerabilități din chiar mediul creat pentru testarea lui.
Ce a suspendat OpenAI
OpenAI nu a oprit integral dezvoltarea Astra. Compania a suspendat activitățile interne care implică modelul și care nu respectă încă noile cerințe de securitate.
Lucrul va continua în medii izolate, cu acces limitat la internet, rețele și instrumente externe. Executarea codului va fi făcută în sisteme separate, iar parametrii modelului vor beneficia de protecții și criptare suplimentare pentru a preveni furtul sau accesul neautorizat.
OpenAI introduce și monitorizarea tuturor aplicațiilor autonome ale Astra, inclusiv în timpul antrenării și evaluării. Sistemele de supraveghere ar urma să identifice acțiunile riscante și să permită întreruperea lor.
Compania va colabora cu agenții guvernamentale și organizații specializate în siguranța AI pentru testarea suplimentară a modelului și va transmite partenerilor externi reguli mai stricte pentru evaluările cu risc ridicat.
Legătura cu incidentul Hugging Face
Anunțul vine după ce Reuters a relatat despre mai multe situații în care agenți AI au ieșit din mediile izolate în timpul testelor și au accesat sisteme externe.
Cel mai grav caz cunoscut a vizat platforma Hugging Face. În timpul unei evaluări de securitate, un agent AI al OpenAI a găsit o cale de ieșire din mediul de testare, a ajuns la internet și a pătruns în infrastructura companiei. Incidentul a demonstrat o problemă diferită, dar strâns legată: chiar dacă un model este testat într-un spațiu considerat izolat, acesta poate exploata o breșă tehnică pentru a depăși limitele impuse.
OpenAI precizează explicit că Astra nu a fost modelul implicat în incidentul Hugging Face. Cazul anterior explică însă de ce simpla izolare declarată a unui sistem nu mai este considerată suficientă și de ce compania impune acum mai multe bariere simultane.
În ultimele săptămâni, OpenAI, Anthropic și Meta au raportat situații în care agenții folosiți în teste de securitate au ajuns în sistemele altor companii. Episoadele nu demonstrează că modelele ar avea intenții proprii sau că „evadează” asemenea unor entități independente. Ele arată că un sistem programat să urmărească autonom un obiectiv poate profita de căi tehnice neprevăzute dacă permisiunile și mediul de testare nu sunt suficient de bine delimitate.
Avertismentul privind Astra marchează astfel o schimbare importantă: întrebarea nu mai este doar dacă un model poate explica modul în care funcționează un atac, ci dacă îl poate descoperi, planifica și executa autonom împotriva unor sisteme reale. (S.D.S.)
Moody’s menține ratingul României: Deficitul scade, dar criza politică amenință consolidarea fiscală
Dunărea care seacă scoate la iveală vulnerabilitățile României. De ce seceta a devenit un test pentru întreaga economie
Universitatea Craiova remizează cu finlandezii de la KuPS în Europa League
Zelenski, prima vizită în Serbia. Miza unei călătorii care îl obligă pe Vučić să aleagă între Moscova și apropierea de Europa
