Companiile care dezvoltă inteligența artificială construiesc sisteme tot mai puternice bazându-se pe ideea că pot corecta problemele pe măsură ce apar. Dar ce se întâmplă dacă următoarea eroare nu mai poate fi reparată? David Robinson, care a coordonat redactarea rapoartelor de siguranță pentru 12 lansări majore ale OpenAI, anunță că a demisionat și avertizează că ritmul de lucru și cultura industriei nu oferă protecția necesară împotriva unor riscuri potențial ireversibile.
„Companiile care construiesc această tehnologie nu sunt nici pe departe suficient de prudente”, scrie Robinson într-un articol publicat în The Atlantic, intitulat „I Quit OpenAI Because Its Culture Is Broken”.
După trei ani și jumătate în companie, în care a coordonat inclusiv redactarea cadrului de evaluare și gestionare a riscurilor avansate, el consideră că problema depășește regulile de siguranță sau nevoia unor legi noi: „Trebuie să vorbim despre cultură.”
Când repararea greșelilor nu mai este suficientă
În Silicon Valley, încrederea că orice obstacol poate fi depășit a permis progrese tehnologice spectaculoase. Robinson recunoaște că foștii săi colegi au înțeles devreme cum extinderea sistemelor AI le poate îmbunătăți performanțele și au investit masiv în această direcție.
Dar aceeași încredere, combinată cu termene care transformă munca într-o succesiune permanentă de sprinturi, influențează și felul în care sunt tratate riscurile.
OpenAI numește abordarea sa „implementare iterativă”: sistemele sunt lansate, problemele sunt identificate, iar mecanismele de protecție sunt îmbunătățite.
„Dar această abordare, prin însăși natura ei, garantează eșecuri periodice - iar amploarea acestor eșecuri crește pe măsură ce sistemele devin mai capabile”, avertizează Robinson.
Pentru sisteme care ar putea depăși capacitățile oamenilor și ar putea acționa împotriva intențiilor acestora, el consideră că metoda încercării și erorii nu mai oferă suficiente garanții.
„Este esențial să obținem, de la prima încercare, ceva mult mai apropiat de perfecțiune, pentru că o nouă încercare după o greșeală s-ar putea să nu mai fie posibilă. Oamenii nu vor fi în siguranță dacă depindem de eroisme individuale după producerea faptelor.”
Incidentele care i-au întărit îngrijorările
Robinson invocă mai multe incidente pentru a arăta cât de mare este distanța dintre existența unor mecanisme de protecție și funcționarea lor efectivă.
În cazul incidentului Hugging Face, din această vară, el scrie că OpenAI a lăsat din greșeală să scape de sub control un grup de agenți AI. Compania a introdus ulterior îmbunătățiri de securitate.
După aceste schimbări, însă, OpenAI a raportat un alt episod: un model aflat în antrenare a ocolit restricțiile de acces la internet. Sistemul de monitorizare a alertat angajații, dar nu a oprit automat modelul, așa cum ar fi trebuit.
Robinson amintește și un raport al Anthropic, care a recunoscut dezactivarea accidentală a propriilor mecanisme de protecție din cauza unei configurări greșite.
„Cred că asemenea greșeli sunt tipice pentru industrie, având în vedere viteza și flexibilitatea cu care lucrează oamenii”, scrie el.
El citează și avertismentul formulat de Paul Christiano la intrarea în consiliul de administrație al OpenAI: „Există un risc semnificativ ca accelerarea rapidă a capacităților AI să ducă, într-un viitor foarte apropiat, la o pierdere catastrofală și ireversibilă a controlului”.
Laboratoarele AI ar trebui să funcționeze ca centralele nucleare
Prima schimbare cerută de Robinson privește modul de organizare a companiilor: acestea trebuie să folosească experiența acumulată în domenii în care greșelile pot avea consecințe catastrofale.
„Având în vedere riscurile de astăzi, laboratoarele care dezvoltă cele mai avansate sisteme trebuie să funcționeze ca centralele nucleare sau aeroporturile aglomerate, cu multiple niveluri de protecție și cu o planificare atentă, care necesită timp, astfel încât eroarea umană ocazională și inevitabilă să nu deschidă calea unui dezastru.”
Într-o centrală nucleară, explică el, procedurile și sistemele tehnice sunt concepute astfel încât defectarea unui echipament sau apăsarea unui buton greșit să nu provoace topirea reactorului. Protecția nu depinde de funcționarea impecabilă a fiecărui om și a fiecărei componente.
Robinson consideră că laboratoarele AI lucrează cu mult mai puține asemenea garanții, deși consecințele unei pierderi ireversibile a controlului ar putea fi, în evaluarea sa, mai grave decât cele ale unui singur accident nuclear.
Nici măcar nu este necesară pierderea completă a controlului pentru a apărea pericole serioase: „Imaginați-vă agenți «scăpați de sub control», care lucrează ca echipe de hackeri - de exemplu, blocând sistemele informatice ale spitalelor și cerând răscumpărare -, dar care nu au niciodată nevoie să doarmă.”
„Eram atât de ocupați să alergăm de la un termen la altul”
Robinson spune că, deși a lucrat ani de zile în companie și a coordonat documente esențiale pentru siguranță, nu a întâlnit colegi cu experiență în siguranța aviației, operarea reactoarelor nucleare sau prevenirea prăbușirii sistemului financiar.
El spune că nevoia unei asemenea expertize a crescut odată cu puterea sistemelor.
„Poate că ar fi trebuit să rămân și să lupt pentru schimbări fundamentale în personalul și cultura noastră. Dar, în practică, eu și colegii mei eram atât de ocupați să alergăm de la un termen la altul, încât rareori aveam ocazia să luăm în considerare schimbări majore, cu atât mai puțin să le și facem.”
Concluzia: presiunea pentru mai multă siguranță trebuie să vină și din afara companiilor. Iar Robinson spune că intenționează să contribuie la înțelegerea publică a riscurilor și la întărirea stimulentelor care ar putea determina industria să fie mai prudentă.
Un model poate trece testul fără să fie sigur
A doua schimbare necesară este una științifică: înainte de a construi sisteme semnificativ mai capabile, industria trebuie să înțeleagă cum poate garanta că acestea vor lua decizii sigure și atunci când nu sunt supravegheate. Problema este cunoscută drept „aliniere”: antrenarea AI pentru a respecta valorile și interesele oamenilor.
Robinson avertizează că nu există încă o definiție completă a ceea ce înseamnă această aliniere în practică, iar metodele de măsurare sunt aproximative.
„Companiile nu au nici pe departe certitudinea că rezultatele bune la testele de aliniere înseamnă cu adevărat un model bun: modelele ar putea detecta când sunt testate și s-ar putea comporta diferit atunci când sunt utilizate.”
Cu cât sistemele devin mai inteligente înainte de rezolvarea acestei probleme, cu atât situația devine mai periculoasă, argumentează el. Iar miza nu se rezumă la împiedicarea unor acțiuni interzise. Este vorba despre relația dintre oameni și eventuale sisteme care i-ar putea depăși intelectual.
Robinson respinge ideea că un viitor acceptabil ar putea include mașini care privesc New Yorkul sau Chicago ca pe un mușuroi de furnici: „Nu vreau asta pentru copiii mei și nu cred că nici ceilalți oameni își doresc.”
OpenAI își apără practicile de siguranță
De cealaltă parte, OpenAI își susține practicile și consideră că adoptă măsuri suficient de prudente. Iar Robinson recunoaște că tehnologia poate fi utilă și valoroasă și că foștii săi colegi sunt competenți, muncesc mult și încearcă să ia decizii bune.
Critica sa privește nivelul de grijă pe care organizația îl poate asigura în ritmul actual: „Pe măsură ce compania aleargă de la o lansare la alta, nu reușește să atingă nivelul de grijă pe care îl consider necesar.”
Și aici nu mai este doar o problemă tehnică, ci una umană: pentru a învăța mașinile să se comporte responsabil față de oameni, organizațiile care le construiesc trebuie să demonstreze ele însele această responsabilitate.
„Înainte ca organizațiile care construiesc AI să poată învăța o superinteligență să trateze bine omenirea, vor trebui să își amintească ele însele cum se face asta.”
"Stegarul dac", reținut pentru 24 de ore după ce a lovit un jandarm la Arestul Central
Ziua 1683 Alt pod din Kiev, luat la țintă de ruși. 6 drone și rachete în 15 minute, în Moldova (Video). Reacția Ucrainei la „noua doctrină” a Moscovei. Ce le-a propus Putin emisarilor lui Trump
WTA reduce numărul de turnee obligatorii pentru jucătoarele de top
S&P menține ratingul României, dar avertizează: criza politică poate compromite reducerea deficitului. Economia ar urma să scadă cu 0,5%
