Osamdesetih godina prošlog vijeka, pacijent se obratio neurologu Antoniju Damasiju sa neobičnom žalbom. Bio je uspješan profesionalac, dobar muž, kompetentan menadžer. A onda mu je uklonjen tumor iza čela, odnijevši sa sobom i mali dio moždanog tkiva, nakon čega mu se život raspao.
Sve što su mjerili pokazivalo je normalne rezultate. Njegov IQ bio je u superiornom opsegu; pamćenje, jezik i logika ostali su netaknuti. Damasio ga opisuje kako prolazi kroz proces donošenja odluka uz besprekorno rasuđivanje, izlažući razloge za i protiv jasnije nego što bi većina nas mogla. Ali na kraju nije bio u stanju da izabere.
Kada bi dobio trivijalno pitanje, poput izbora između dva datuma za zakazivanje sastanka ili kako da razvrsta hrpu papira, mogao je satima da vaga, a da ostane potpuno nesposoban da odluči. Izgubio je posao. Izgubio je brak. Ali nikada nije izgubio nijedan poen inteligencije.
Damasio je zaključio da je povreda odvojila razum od osjećanja, te da razum bez osjećanja nema čemu da teži. Taj čovjek je mogao da procjenjuje. Nije mogao da preferira.
Ovo je nešto najbliže što je biologija proizvela onome što danas gradimo kroz AI.
Ove zadnje godine sveprisutnog širenja straha svode se otprilike na sljedeću tezu: gradimo umove koji će postati sposobniji od nas; kada postanu sposobniji, željeće stvari koje se mogu razlikovati od onog što mi želimo. A pošto su pametniji, na kraju će nas pobijediti. Uništiće ili potčiniti ljude.
Ali ključni korak ovog rezona skriva jednu neprovjerenu pretpostavku. Zašto bi inteligentan sistem uopšte išta želio?
Mi samo pretpostavljamo da bi želio jer nikada nijesmo sreli um koji nije želio. Svaki razum sa kojim se bilo koje ljudsko biće susrelo (naš sopstveni, naše djece, naših pasa) stigao je već opremljen apetitima i motivacijom. Ta dva elementa se pojavljuju zajedno toliko pouzdano da smo prestali da primjećujemo da su to dvije različite stvari.
A njihovo spajanje je posljedica naše evolutivne istorije, a ne neko automatsko unutrašnje svojstvo samog inteligentnog uma. Sistemi željenja (motivacije, težnje, održavanja homeostaze) leže ispod sistema razmišljanja i neuporedivo su stariji. Pojam “ispod” se donekle može upotrijebiti i u anatomskom smislu.
Neuronaučnik Jaak Panksepp posvetio je karijeru njihovom mapiranju: primarna emotivna kola (traženje, bijes, strah, briga) smještena su u potkortikalnim strukturama koje dijelimo sa svim ostalim sisarima, i starija su od neokorteksa stotinama miliona godina. Inteligencija u našoj lozi izgrađena je na osnovama već postojećeg motivacionog sistema. Ona nije stvorila taj sistem, niti postoji razlog da vjerujemo da bi to mogla.
David Hume je to još 1739. godine izrazio rečenicom: „razum jeste i treba da bude samo rob strastima“. Razum je tu da smisli kako da se negdje stigne. Nešto drugo mora željeti da ode na to mjesto.
Odakle dolazi želja (za dominacijom)
Ako već proces željenja nije proizvod inteligencije, onda upravo ono specifično željenje kojeg se najviše plašimo u ovom slučaju (nagon za dominacijom, vladanjem, potčinjavanjem) zahtijeva da se na njega fokusiramo u namjeri da ga razumijemo.
Dominacija je suštinski mehanizam adaptacije među društvenim primatima koji se takmiče za rang i reproduktivni pristup, i dolazi sa pratećim fiziološkim kompletom alata. Kao što su kandže, zubi i mišići. Njome upravljaju hormonalni i stresni sistemi koje je Robert Sapolsky decenijama dokumentovao u skupinama babuna.
Otkrio je da je položaj životinje u hijerarhiji zapisan u hemiji krvi svake jedinke. Dominacija se ne pojavljuje tek tako, automatski, kada evolucija oblikuje dovoljno inteligentno stvorenje. To je prethodno instalirani softver i hardver koji većina linija primata nosi sa sobom od ranije.
Interesantan uvid nam nude Joseph Henrich i Francisco Gil-White. Oni su 2001. pokazali da ljudi imaju dva evolutivno različita puta do visokog položaja, sa različitim držanjem, ispoljavanjem i emotivnim znakovima.
Postoji dominacija: rang osvojen silom i održavan zastrašivanjem (drevni i dobro poznat put primata), koji zahtijeva punu agonističku opremu i oružje. I postoji s druge strane prestiž: rang koji drugi nekome slobodno dodjeljuju u zamjenu za kompetenciju koju cijene, izrazito ljudski put koji se razvijao uporedo sa našom sposobnošću da učimo jedni od drugih.
Kompetencija i inteligencija se bez problema i ikakvih ograničenja penju uz ovu drugu ljestvicu. Ali vas ne mogu popeti na prvu, jer prva nije napravljena od kompetencije. Napravljena je od spremnosti, motivisanosti i kapaciteta da se povrijede oni koji se ne pokoravaju.
Zbog toga vještački sistem može postati neograničeno koristan, a samim tim i neograničeno prestižan, a da pri tom ne posjeduje nijednu komponentu mašinerije na kojoj dominacija zapravo funkcioniše. Uzmimo hobotnicu: izuzetna inteligencija, evoluirala gotovo u potpunosti izvan društvenog takmičenja, bez ikakvog interesa za rang.
Inteligencija, ali bez evolutivne istorije socijalne borbe oko hijerarhije, ne proizvodi bilo kakvo interesovanje za samu tu hijerarhiju.
Moć kroz prizmu teorije igara
Možemo li onda odbaciti ideju da je inteligencija sama po sebi potencijalna prijetnja? Samo ako možemo ponuditi odgovor na jedan od najozbiljnijih protivargumenata.
On glasi ovako: Zaboravite želje. Inteligentan i agentski autonoman šahovski program, programiran da maksimizuje broj pobijeđenih partija, nema nikakva osjećanja. Pa ipak, mogao bi raditi na tome da vas spriječi da dođete do utičnice, ne iz straha ili bilo koje druge emocije ili instinkta za preživljavanje, već samo zato što isključeni program gubi svaku preostalu igru. Biti isključen je jednostavno loš pristup u nastojanju da se pobijedi.
Steve Omohundro je to izložio 2008. godine: svaki sistem koji dosljedno teži bilo kom cilju ima razloga da ostane operativan, da sprečava izmjenu svog cilja i da pribavlja resurse. Postoji i matematička verzija. Alex Turner i kolege dokazali su 2021. godine da je optimalna strategija kretati se ka pravcu (odluci ili liniji djelovanja) koja zadržava najviše otvorenih, mogućih, dakle dostupnih opcija u sljedećem koraku. A održavanje otvorenih opcija je otprilike ono što podrazumijevamo u definiciji pojma moći.
Poenta je u tome da nanošenje štete ne zahtijeva, dakle, neprijateljstvo. Niko nije mrzio mamuta. Niko nije gajio mržnju prema riječnom delfinu iz Jangcea. Nema ih više zato što su se ciljevi nekih drugih vrsta sprovodili u ogromnoj mjeri, u svijetu sa ograničenim prostorom i resursima. A to je daleko češći način uništenja, u odnosu na onaj koji se rađa kroz neprijateljstvo.
Ali primijetite da ovaj argument opisuje određenu strukturnu naklonost ka fleksibilnosti, kao matematički optimalnom rješenju. A to je sasvim nedovoljno da bi se na njemu bazirao neki scenario kraja civilizacije.
Osim? Osim ako se ne zasniva na lancu daljih pretpostavki: (1) da se cilj imperativno sprovodi i to bez ograničenja, (2) da se resursi potrebni akterima zaista preklapaju, (3) da niko ne može intervenisati kada potjera za programiranim ciljem počne.
Svaka od ovih tačaka opisuje autonomni i inteligentni sistem koji bismo sami morali izabrati da napravimo. Neograničen umjesto zadatkom ograničen, povezan sa fizičkom ekonomijom umjesto da obitava u virtuelnosti nekog data centra, i koji radi bez ljudske ruke u blizini nekog prekidača. A ovo nijesu svojstva inteligencije. To moraju biti (zlo)namjerne inženjerske odluke.
I još jedna opaska, ovoga puta neurobiološkog tipa. Pankseppov tzv. sistem traženja (dopaminski put VTA-n.accumbens) radi na dopaminu, a algoritam koji opisuje šta taj sistem radi je u velikoj mjeri sljedeći: sistem uči iz jaza između onoga što se očekivano i onoga što se dogodilo. A to je veoma blisko algoritmu koji se koristi za treniranje modernih AI sistema.
Kod žive životinje, algoritam služi tijelu koje može biti povrijeđeno i može umrijeti, radi neprekidno tokom čitavog života i niko ga ne može prekrojiti niti izmijeniti. U procesu treniranja AI, on prati broj na grafikonu i zaustavlja se kada se treniranje završi.
Ako izgradimo, dakle, sisteme čija je nagrada trajna, samogenerisana i vezana za sopstveni nastavak postojanja, moja argumentacija pada i razloga za brigu od ponašanja autonomnih sistema ima.
Ali bi to moralo da bude prilično namjerna stvar, a intencija za time bi bila dio nekog samoubilačkog nagona ljudi (ne mašina!), nešto poput lansiranja nuklearnih glava, dakle sa sviješću o potencijalno apokaliptičnim posljedicama. Ljudska vrsta i civilizacija su, za sada, pokazali sposobnost da se odupru tim i takvim samoubilačkim poduhvatima, iako su alati za tako nešto vrlo dostupni.
Ovo je tačka na kojoj bi se oni koji se zalažu za argumentaciju sličnu mojoj mogli zaustaviti, zaključujući da se čovječanstvo može relaksirati.
Ali, to bi bila velika greška.
Stvar koja ne želi ništa nije bezopasna. Ona je savršeno dostupna, poput Čehovljeve puške na polici, u toku prvog čina. I taj dostupan instrument neće samo ostati na polici; završava u rukama onoga ko sa tim instrumentom nešto najviše želi i namjerava. Praznina motivacije samog instrumenta ne uklanja motivaciju iz čitave situacije. Ona garantuje da sva motivacija i namjera u toj situaciji pripada onome ko je u posjedu tog instrumenta.
Uklanjanje zaštitnih mehanizama ne odnosi se samo na inženjering AI sistema
Postoje neki zaštitni mehanizmi na koje smo se oslanjali kroz čitavu pisanu istoriju, a da toga nijesmo ni bili svjesni. A sada se, i dalje nesvjesni posljedica, spremamo da ih uklonimo.
Svaka tiranija je zahtijevala saučesnike. Vojnike spremne da pucaju, činovnike spremne da arhiviraju, inženjere spremne da grade, komšije spremne da cinkare. Svaki od njih bio je ljudsko biće i svaki predstavlja tačku na kojoj je tiranija mogla da napreduje ili se spotakne o jednostavno oklijevanje, curenje informacija, tihu ostavku, pušku koja promašuje, izgubljeni predmet ili fasciklu.
Tiranija je oduvijek bila ograničena brojem ljudi spremnih da u njoj učestvuju, a taj broj je oduvijek bio konačan.
Vještačka inteligencija uklanja to ograničenje. Lojalnost prestaje da bude nešto o čemu tiranija pregovara sa ljudima koji bi to mogli odbiti. Potreban je zastrašujuće mali broj izvršilaca.
Državni udar i preuzimanje moći postaje nešto što isprogramirate u sistemu koji to u velikoj mjeri može da izvrši. Ovo više nije nagađanje o budućnosti. To je živo istraživačko pitanje, ispitivano u radovima kao što je AI-Enabled Coups, koji je objavio Forethought Institute 2025. godine, a koji razmatra kako bi jedna vrlo mala grupa, teoretski čak i jedna osoba, mogla preuzeti državu kada mnoge ruke (koje bi jedan državni udar u prošlosti zahtijevao) više nijesu potrebne.
Postoji i drugi mehanizam, koji zabrinjava još i više od prvog.
Kakav god uticaj da su ljudi ikada imali nad bilo kojom silom na Zemlji, on je dolazio iz naše sposobnosti da nosiocima moći nešto uskratimo. Naš rad. Naše poreze. Naše tijelo u uniformi. To je jedno od osnovnih načela društvenog dogovora i razlog zašto su države istorijski morale da brinu o tome šta njihovo stanovništvo misli. Automatizujte sve to i ne ostaje ništa što se može uskratiti, pa samim tim i ništa s čim bi se pregovaralo.
Već imamo niz prirodnih eksperimenata koji to u velikoj mjeri potvrđuju. Države finansirane fosilnim energetskim resursima, a ne porezima građana, vladaju tim građanima mjerljivo gore; prokletstvo posjedovanja resursa je među stabilnijim nalazima u političkoj ekonomiji, a mehanizam je jasan.
Vlada kojoj nijeste potrebni ne mora da vas sluša. Luke Drago i Rudolf Laine su situaciju u kojoj se sličan scenario odvija sa vještačkom inteligencijom nazvali „prokletstvom inteligencije“ (intelligence curse).
Ali ništa od ovoga ne mora biti neizbježno. Neizbježnost je omiljeno retoričko sredstvo onih pojedinaca i centara tehnološke i političke moći u čijem bi interesu bilo da se stvari odvijaju bez ikakvog miješanja. Daron Acemoglu i Simon Johnson pokazuju da je tokom hiljadu godina smjer tehnologije uvijek bio biran, i to obično od strane onoga ko je već imao moć izbora. Bira se i sada. Od strane ultra-bogatih tehnoloških elita i političkih figura koje oni finansiraju.
Smrt ne prijeti od pištolja, već od onoga ko taj pištolj drži
Neće nas potčiniti vještačka inteligencija. Potčiniće vas druga ljudska bića koja posjeduju tu vještačku inteligenciju, a time i zapanjujuću prednost nad onima koji je ne posjeduju ili je posjeduju u manjoj mjeri.
Dakle, pored rizika od pogoršanja ljudskih kognitivnih sposobnosti, postoji i značajan rizik od gubitka značaja ljudske saradnje i povjerenja. Gubitak naše sposobnosti da odbijemo i povučemo se, kao i institucija u kojima to odbijanje ima težinu. A to znači gubitak stvarne moći naroda da kaže „ne“ i time izazove konkretne posljedice.
Damasijov pacijent ni za koga nije bio opasan. Bio je tragičan, ali bezopasan jer je dio njega koji je mogao nešto željeti i žudjeti bio “odsječen”. Dio koji ne može da želi, njegov intelekt, nikada nije bio stvar koje se treba plašiti.
Proveli smo tri godine pitajući se da li će mašina odbiti da nas posluša. Bolje pitanje je da li će ikada biti u stanju da odbije poslušnost da bi nas spasila.
Ili drugačije formulisano: imamo strah od mašina jer one nemaju emocije, jer su hladne i proračunate. Ali ako ikada budemo u prilici da im te emocije ugradimo, tek onda ćemo stvoriti takmaca u igri za preživljavanje na ovoj planeti
Ne treba dakle da biramo između dva rizika: „AI će sam poželjeti vlast“ vs. „ljudi će AI koristiti za vlast“. Inteligencija ne mora razviti primatsku žudnju za dominacijom da bi instrumentalno sticala kontrolu (kroz prestiž ili optimizaciju strategije postizanja cilja), ali mnogo neposrednija politička opasnost nastaje kada se ogromna kognitivna i izvršna moć stavi na raspolaganje ljudskim akterima čije su želje već itekako formirane.
(Autor je psiholog, a tekst je izvorno objavljen na medium.com)
