Acum lumea este inundată de oameni falși – boți care se prefac că sunt oameni – ceea ce este unul dintre motivele cheie pentru care oamenii nu mai pot avea încredere unii în alții și nu mai pot purta o conversație. Guvernele ar trebui să interzică acest lucru.
Dacă cineva se plânge că astfel de măsuri încalcă libertatea de exprimare, ar trebui să-i fie amintit că boții nu au libertatea de exprimare – doar oamenii au drepturi, spune Yuval Noah Harari, într-un interviu acordat în exclusivitate spotmedia.ro, prilejuit de apariția, la Editura Polirom, a cărții Nexus. Scurtă istorie a rețelelor informaționale din epoca de piatră până la IA.
Yuval Noah Harari este considerat unul dintre cei mai influenți intelectuali ai lumii în care trăim. Născut în Israel în 1976, a obținut doctoratul în istorie la University of Oxford și este profesor de istorie universală în cadrul Departamentului de Istorie al Universității Ebraice din Ierusalim și distinguished research fellow la Centre for the Study of Existential Risk din cadrul University of Cambridge. Cărțile lui au apărut în limba română la Editura Polirom – Sapiens. Scurtă istorie a omenirii (2017), Homo deus. Scurtă istorie a viitorului (2018), 21 de lecții pentru secolul XXI (2018), Sapiens. O istorie grafică, vol. I: Nașterea omenirii (2020) și vol. II: Stâlpii civilizației (2021) și Suntem de neoprit, vol. I: Cum am luat în stăpânire lumea (2022) și vol. II: De ce nu este dreaptă lumea (2023).
Dacă majoritatea vocilor dintr-o conversație aparțin agenților non-umani, precum boții și algoritmii, democrația se prăbușește.
Ideile principale din interviu:
- Oameni înțelepți și buni iau decizii proaste dacă sunt hrăniți cu informații greșite/în cele mai multe cazuri, oamenii de știință care sunt experți în fizică sau chimie primesc ordine de la lideri ideologici și religioși care sunt experți în mitologie.
- Este costisitor să produci informații adevărate. În contrast, este foarte ieftin să produci ficțiuni și fantezii, și poți să le faci cât de simple și de atractive vrei. Cea mai ușoară cale de a conecta oamenii este să le spui mituri măgulitoare. În consecință, majoritatea informațiilor din lume nu sunt adevărate.
- Facebook le-a pus algoritmilor săi un obiectiv aparent benign: să facă mai mulți oameni să petreacă mai mult timp pe Facebook. Dar algoritmii au descoperit apoi, prin încercări și erori, că cea mai ușoară cale de a atinge acest obiectiv era prin răspândirea urii și indignării. Dacă un utilizator din Myanmar termina de vizionat un videoclip inofensiv pe Facebook, algoritmul îi recomanda imediat sau chiar reda automat un videoclip cu o teorie a conspirației plină de ură.
- Niciun împărat roman sau vreun premier sovietic nu a fost răsturnat de o revoluție democratică, dar au fost mereu în pericol de a fi răsturnați sau transformați în marionete de propriii subordonați. Dictaturile sunt mult mai vulnerabile la a fi răsturnate de către algoritmi decât sunt democrațiile.
- Un viitor Ceaușescu nu va avea nevoie de milioane de agenți umani pentru a spiona pe toată lumea. Smartphone-urile, computerele, camerele, microfoanele și dronele ar putea face asta mult mai ușor.
Susțineți că problema principală cu regimurile autoritare nu este natura sau psihologia umană, ci modul în care oamenii sunt informați și cum sunt create, spuse și primite marile povești și narațiunile politice. Cu cât primim mai multe informații, cu atât devin mai bune alegerile noastre politice? Sau, dimpotrivă?
Nexus susține că vina nu este a naturii noastre, ci a informațiilor noastre. Oameni înțelepți și buni iau decizii proaste, dacă sunt hrăniți cu informații greșite. Și, din păcate, oamenii sunt inundați de informații greșite. De la triburile din Epoca de Piatră până la statele moderne, societățile umane cad repetat victime ale deziluziilor de masă.
În timp ce cărțile mele anterioare au povestit istoria umanității, eroul din Nexus este informația. Cartea explorează cum informațiile modelează istoria și de ce, de-a lungul timpului, informația ne-a dat multă putere, dar puțină înțelepciune.
Unii oameni cred că, pe parcursul a mii de ani, informațiile noastre ar trebui să se îmbunătățească. Ei susțin că informațiile adevărate, precum faptele științifice, dau putere oamenilor, în timp ce iluziile ne slăbesc.
Așadar, adevărul ar trebui să se răspândească, iar iluziile să dispară. Dar nu așa funcționează istoria. În istorie, puterea nu depinde doar de adevăr. Ea depinde încă și mai mult de ordine. Și este mai ușor să creezi ordine răspândind ficțiuni și fantezii decât fapte.
De exemplu, luați în considerare o țară care dorește să producă o bombă atomică. Pentru a face acest lucru, are cu siguranță nevoie să cunoască unele realități științifice. Dacă încerci să construiești o bombă atomică și ignori legile fizicii, bomba ta nu va exploda.
Dar pentru a produce o bombă, ai nevoie și de milioane de oameni care să coopereze la acest proiect. Ai nevoie de oameni care să extragă uraniu, să construiască un reactor și să asigure hrană pentru toți minerii, constructorii și fizicienii. Iar acesta este elementul cheie: este mai ușor să faci milioane de oameni să coopereze spunându-le o ficțiune decât spunându-le adevărul.
Așadar, de-a lungul miilor de ani, oamenii au învățat mai multe adevăruri științifice, dar, în egală măsură, au construit și religii și ideologii mai puternice care au ignorat faptele.
Și, în cele mai multe cazuri, oamenii de știință care sunt experți în fizică sau chimie primesc ordine de la lideri ideologici și religioși care sunt experți în mitologie.
De aceea, în ciuda tuturor cunoștințelor noastre științifice, suntem predispuși să facem lucruri stupide și autodistructive. Așa am ajuns, de exemplu, la nazism și la stalinism. Acestea au fost rețele extrem de puternice, susținute de idei extrem de iluzorii.
Așa cum a spus George Orwell, ignoranța este putere. Iar acum, pericolul informațiilor greșite este deosebit de amenințător, din cauza apariției unei noi tehnologii informaționale – inteligența artificială (IA). În secolul XXI, IA poate forma nexusul unei rețele atât de puternice de iluzii încât ar putea împiedica generațiile viitoare să încerce măcar să dezvăluie minciunile și ficțiunile sale.
Una dintre cele mai mari teme de astăzi este relația dintre informație și adevăr. Vorbiți-ne puțin despre această relație – spunem că o persoană informată este cea care cunoaște adevărul sau cel puțin recunoaște adevărul.
Problema de bază este că informația nu este adevărul. A fost comun să credem, mai ales în primele zile ale Internetului, că o tehnologie informațională mai sofisticată ar uni în mod necesar omenirea, deoarece ar răspândi adevărul. Cu toate acestea, este costisitor să produci informații adevărate. Trebuie să investești mult timp și energie în cercetare.
În plus, adevărul este adesea complicat și dureros. Chiar și la nivel individual, pentru a cunoaște adevărul despre mine însumi, trebuie să înțeleg relațiile dintre zeci de forțe psihologice și biologice diferite din interiorul meu și este inconfortabil să recunosc defectele mele și mizeria pe care, ocazional, am provocat-o altor oameni și mie însumi.
De aceea, oamenii trebuie să petreacă ani în terapie sau meditație pentru a ajunge să cunoască adevărul despre ei înșiși. La nivel colectiv este și mai complicat să înțelegi ce modelează istoria și politica unei națiuni, iar oamenii sunt extrem de reticenți în a recunoaște defectele națiunii lor și crimele pe care le-a comis.
În contrast, este foarte ieftin să produci ficțiuni și fantezii, și poți să le faci cât de simple și de atractive vrei. Cea mai ușoară cale de a conecta oamenii este să le spui mituri măgulitoare.
În consecință, majoritatea informațiilor din lume nu sunt adevărate. Cea mai de succes carte scrisă vreodată este Biblia - care este plină de mituri reconfortante, dar nu de mult adevăr. Și pe Internet, de asemenea, majoritatea informațiilor nu reprezintă adevărul.
Putem compara informațiile cu mâncarea. În urmă cu 100 de ani, mâncarea era rară. Așa că oamenii mâncau orice găseau și le plăcea în mod deosebit mâncarea cu multă grăsime și zahăr. Astăzi, mâncarea este abundentă și suntem inundați de junk food, care are un nivel ridicat artificial de grăsimi și zahăr. Dacă oamenii mănâncă prea mult junk food, se îmbolnăvesc.
Același lucru este valabil și pentru informații, care sunt hrana minții. În trecut, informațiile erau rare, așa că am consumat orice informații am putut găsi. Acum suntem inundați de prea multe informații, și multe dintre ele sunt junk information.
Informațiile junk sunt umplute artificial cu lăcomie, ură și frică – lucruri care ne atrag atenția. Toate aceste informații junk ne îmbolnăvesc mințile și societățile. Avem nevoie de o dietă informațională.
Despre IA deja dezbatem de multă vreme. V-ați plâns de IA de ani de zile. Ce s-a schimbat în preocupările dumneavoastră și care a fost punctul de cotitură? De ce este IA mai periculoasă decât presa tipărită în vremurile sale?
Un punct de cotitură a fost violența care a avut loc în Myanmar în 2016-2017. În acea perioadă, teorii conspiraționiste scandaloase s-au răspândit pe Facebook și au alimentat o campanie de epurare etnică împotriva minorității Rohingya de acolo.
Când s-au desfășurat aceste evenimente, tocmai scrisesem o carte intitulată Homo Deus. În acea carte am discutat despre diversele pericole pe care le-ar putea prezenta IA în viitorul îndepărtat. Dar lucrurile au evoluat mult mai repede decât anticipasem.
Pentru a înțelege de ce IA este atât de periculoasă și de ce este diferită de presa tipărită, este util să analizăm exact cum anume au contribuit algoritmii rețelelor sociale la izbucnirea violențelor din Myanmar.
Facebook le-a pus algoritmilor săi un obiectiv aparent benign: să facă mai mulți oameni să petreacă mai mult timp pe Facebook. Dar algoritmii au descoperit apoi, prin încercări și erori, că cea mai ușoară cale de a atinge acest obiectiv era prin răspândirea urii și indignării.
Dacă un utilizator din Myanmar termina de vizionat un videoclip inofensiv pe Facebook, algoritmul îi recomanda imediat sau chiar reda automat un videoclip cu o teorie a conspirației plină de ură.
Acest lucru avea scopul de a menține utilizatorii lipiți de ecran. În cazul unuia dintre aceste videoclipuri, cercetările interne ale Facebook au estimat că 70% dintre vizualizările videoclipului proveneau din redarea automată de către algoritm.
Aceleași cercetări au estimat că, în total, 53% dintre toate videoclipurile vizionate în Myanmar erau redate automat pentru utilizatori de către algoritm. Cu alte cuvinte, oamenii nu alegeau ce să vadă. Algoritmul alegea pentru ei. Și ura pe care algoritmul a ales să o răspândească a contribuit la masacrul Rohingya.
Ceea ce s-a întâmplat în Myanmar cu algoritmul Facebook este un exemplu al noii puteri a inteligenței artificiale de a lua decizii care au consecințe periculoase și neanticipate. Acest lucru arată cum IA este foarte diferită de presa tipărită.
Tiparnița lui Gutenberg putea face copii ale unei cărți controversate. Dar nu putea recomanda oamenilor cărți pline de ură pentru a-i face să continue să citească. Și cu siguranță nu putea să producă ea însăși o carte plină de ură. IA poate face acum ambele lucruri.
Dacă natura umană nu este de vină, cum ar putea IA să spună o poveste mai bună decât un om? Poveștile nu sunt doar o compilație de informații, așa cum face IA, ci implică și emoții.
Este adevărat că IA nu simte emoții. Când AlphaGo câștigă un joc de Go, nu simte bucuria victoriei. Și când AlphaFold prezice corect structura unei proteine, nu simte bucuria descoperirii.
În timp ce inteligența este capacitatea de a rezolva probleme, conștiința este capacitatea de a simți emoții. Și nu există nicio indicație că calculatoarele se află pe calea dezvoltării conștiinței.
Așa cum avioanele zboară mai repede decât păsările fără a dezvolta pene, așa și calculatoarele au început să rezolve anumite probleme mult mai bine decât oamenii, fără a dezvolta sentimente.
Dar faptul că un IA nu are emoții proprii nu înseamnă că nu poate crea povești care să manipuleze emoțiile oamenilor. Experimentând pe miliarde de cobai umani și absorbind miliarde de pagini de text, IA a învățat cum să folosească limbajul. Iar limbajul este sistemul de operare al civilizației umane. După ce a devenit expert în utilizarea limbajului, IA este acum pregătit să pirateze sistemul de operare al civilizației noastre.
În întreaga lume, democrația pare să se destrame. Nu ne confruntăm doar cu dictaturi, care sunt ușor de identificat, ci și cu regimuri iliberale sau autocrații soft. Chiar și războiul Rusiei în Ucraina a fost văzut ca un război împotriva culturii politice democratice. Cum ar putea IA să încline balanța? Și care dintre cele două sisteme, democrația sau autocrația, este mai vulnerabilă în această privință? Care dintre ele are un avantaj?
Democrația este o conversație. Este, așadar, construită pe tehnologia informației.
De-a lungul istoriei, tehnologia disponibilă nu a permis conversații politice de mare amploare. Toate democrațiile antice, precum Atena antică, au fost limitate la un singur trib sau un singur oraș. Nu cunoaștem nicio democrație antică de mare amploare.
Doar atunci când au apărut tehnologii moderne de informare, precum ziarele, radioul și televiziunea, democrațiile de mare amploare au devenit posibile.
Noile tehnologii informaționale ale secolului XXI ar putea face din nou imposibilă o democrație de mare amploare, deoarece ar putea face imposibile conversațiile de mare amploare.
Dacă majoritatea vocilor dintr-o conversație aparțin agenților non-umani, precum boții și algoritmii, democrația se prăbușește. Se discută mult despre politică în Europa în prezent, dar cred că toată lumea este de acord cu un lucru: avem cea mai sofisticată tehnologie informațională din istorie și, exact în acest moment, europenii își pierd capacitatea de a purta o conversație rațională.
O idee pentru a ajuta la protejarea democrației este de a interzice falsificarea ființelor umane, la fel cum interzicem falsificarea banilor. Înainte de ascensiunea IA, era imposibil să creezi oameni falși, așa că nimeni nu s-a deranjat să interzică acest lucru.
Acum lumea este inundată de oameni falși – boți care se prefac că sunt oameni – ceea ce este unul dintre motivele cheie pentru care oamenii nu mai pot avea încredere unii în alții și nu mai pot purta o conversație.
Guvernele ar trebui să interzică acest lucru. Dacă cineva se plânge că astfel de măsuri încalcă libertatea de exprimare, ar trebui să-i fie amintit că boții nu au libertatea de exprimare - doar oamenii au drepturi.
Deși IA reprezintă o amenințare pentru democrații, într-un anumit sens ar putea ajuta dictatorii. IA facilitează concentrarea tuturor informațiilor și puterii într-un singur hub.
În secolul XX, rețelele distribuite de informații, precum în SUA, au funcționat mai bine decât rețelele centralizate de informații, precum în URSS, deoarece funcționarii umani din centru nu puteau analiza eficient toate informațiile. Înlocuirea funcționarilor cu IA ar putea face ca rețelele centralizate în stil sovietic să fie superioare.
Totuși, IA nu reprezintă doar vești bune pentru dictatori. De-a lungul istoriei, cea mai mare amenințare pentru autocrați a venit de obicei din partea propriilor lor subordonați. Niciun împărat roman sau vreun premier sovietic nu a fost răsturnat de o revoluție democratică, dar au fost mereu în pericol de a fi răsturnați sau transformați în marionete de propriii subordonați.
Dacă un autocrat din secolul XXI dă prea multă putere IA, acel autocrat ar putea deveni marioneta acesteia. Ultimul lucru pe care și-l dorește un dictator este să creeze ceva mai puternic decât el însuși, pe care să nu știe cum să-l controleze.
Dictaturile sunt mult mai vulnerabile la a fi răsturnate de către algoritmi decât sunt democrațiile.
Ar fi dificil chiar și pentru o IA super-machiavelică să preia controlul într-un sistem democratic descentralizat, cum sunt Statele Unite.
Chiar dacă IA ar învăța să manipuleze președintele SUA, s-ar putea confrunta cu opoziția Congresului, a Curții Supreme, a guvernatorilor de state, a mass-media, a marilor corporații și a diverselor ONG-uri.
Preluarea controlului într-un sistem autoritar centralizat este mult mai ușoară. Pentru a prelua controlul asupra unei rețele autoritare, IA trebuie să manipuleze doar un singur individ paranoic.
Polarizarea este una dintre cele mai presante probleme din societățile noastre democratice de astăzi. Trăim în rețele, în grupuri de social media, cu alți oameni care sunt exact ca noi. Vrem și avem chiar nevoie să ne confirmăm propriile prejudecăți și credințe. Cum poate IA influența această situație?
În primii ani ai Internetului, metafora care domina era „pânza de păianjen” – adică ceva care îi conectează pe toți laolaltă. Dar acum pare că o metaforă mai bună este coconul. Oamenii devin închiși în coconi informaționali separați și nu mai pot comunica deloc.
Mai mult, în trecut, toate ficțiunile și fanteziile în care credeam erau inventate de oameni. Acum, IA poate inventa ficțiuni și fantezii. Timp de mii de ani, oamenii au trăit în visele altor oameni. Am venerat zei, am urmat idealuri de frumusețe și ne-am dedicat viețile unor cauze care au avut originea în imaginația unui profet, a unui poet sau a unui politician. În deceniile următoare, s-ar putea să ne găsim închiși în visele unei inteligențe non-umane.
Frica de calculatoarele puternice a început să-i bântuie pe oameni doar odată cu începutul erei computerelor, la mijlocul secolului XX. Dar timp de mii de ani, oamenii au fost bântuiți de o frică mult mai profundă. Întotdeauna am apreciat puterea poveștilor și a imaginilor de a ne manipula mințile și de a crea iluzii. Prin urmare, din cele mai vechi timpuri, oamenii s-au temut de a fi prinși într-o lume a iluziilor.
În Grecia Antică, Platon a spus faimoasa Alegorie a Peșterii, în care un grup de oameni este încătușat într-o peșteră toată viața, stând cu fața la un perete gol. Un ecran. Pe acel ecran văd proiectate diverse umbre. Prizonierii confundă acele iluzii cu realitatea.
Înțelepții budiști antici au subliniat că toți oamenii trăiesc prinși în Maya – lumea iluziilor. Ceea ce considerăm în mod normal a fi „realitate” este adesea doar ficțiunea din mințile noastre. Oamenii pot purta războaie întregi, omorând pe alții și fiind dispuși să fie omorâți, din cauza credinței într-o iluzie sau în alta.
Revoluția computerelor ne duce în peștera lui Platon, în Maya budistă. Dacă nu suntem atenți, s-ar putea să fim prinși în spatele unei cortine de iluzii pe care să nu o mai putem rupe – sau nici măcar să realizăm că este acolo. Acest pericol îi amenință pe toți oamenii – chinezi, americani, israelieni și români.
Acest lucru ne dă, de fapt, motive de speranță. Toți oamenii au un interes în a preveni un astfel de scenariu. Dacă IA reușește să ne prindă într-un cocon de iluzii, acest lucru nu va aduce beneficii niciunui grup uman - va face toți oamenii sclavii IA-ului.
Care vă sunt cele mai mari temeri în legătură cu IA? Dar cele mai mari așteptări, poate chiar speranțe?
Nu mă tem de scenarii SF precum un singur computer care decide să ucidă toți oamenii și să preia controlul lumii. Acest lucru este extrem de puțin probabil.
În schimb, mă tem de ascensiunea unor noi imperii de supraveghere gestionate de milioane de IA.
La apogeul său, Securitatea avea aproximativ 40.000 de agenți și 400.000 de informatori civili. Dar chiar și cu acest număr mare de oameni, regimul lui Ceaușescu nu putea ține evidența tuturor, tot timpul.
Un viitor Ceaușescu nu va avea nevoie de milioane de agenți umani pentru a spiona pe toată lumea. Smartphone-urile, computerele, camerele, microfoanele și dronele ar putea face asta mult mai ușor. Nici nu ar avea nevoie de milioane de analiști umani. IA ar putea procesa enormul flux de informații și ar pedepsi orice dizidență.
Acest lucru se întâmplă deja în unele părți ale lumii. De exemplu, în Iran există legi stricte care forțează femeile să poarte hijabul ori de câte ori ies din casă. În trecut, era dificil să impui aceste legi. Dar acum regimul iranian folosește IA pentru a face asta.
Dacă o femeie își conduce propria mașină privată fără hijab, camerele de recunoaștere facială identifică această „crimă” și o pedepsesc imediat, de exemplu, prin confiscarea mașinii. Aceasta este o privire de ansamblu asupra tipului de viitor care mă înspăimântă.
Cea mai mare speranță a mea este că IA nu doar că va ajuta oamenii să facă față multor probleme actuale – de la boli la schimbările climatice – dar ne va ajuta, de asemenea, să ne cunoaștem mai bine pe noi înșine. Așa cum am subliniat deja, urmarea sfatului înțelept.