Ali se bo umetna inteligenca sčasoma poneumila?

Umetna inteligenca danes piše in prevaja besedila, rešuje teste in ustvarja slike, ki so še pred nekaj leti sodile v znanstveno fantastiko. Razvoj je hiter, investicije ogromne, pričakovanja pa tudi že skoraj brezmejna. Vendar se v strokovnih razpravah ob tem pojavlja neprijetno vprašanje: Ali je mogoče, da se bodo veliki jezikovni modeli sčasoma začeli slabšati?

Vprašanje, ali se bodo veliki jezikovni modeli (LLM) sčasoma začeli slabšati, se na prvi pogled zdi nenavadno. Kako bi se lahko sistemi, ki so iz generacije v generacijo zmogljivejši, »poneumljali«? A v ozadju ne gre za inteligenco v človeškem smislu, temveč za nekaj precej bolj tehničnega in hkrati bolj krhkega: za način, kako se ti modeli pravzaprav učijo. Ni bojazni, da bi umetni inteligenci (UI) zmanjkalo moči, ji pa lahko zmanjka kakovostnih podatkov. Gre za teorije, ki jih avtorji razvijajo v različnih študijah. Ali se bodo uresničile, pa bo pokazal čas.

Ko se umetna inteligenca uči sama iz sebe

Razvoj velikih jezikovnih modelov zahteva ogromne količine podatkov. Trenutni modeli so bili večinoma učeni na besedilih, ki so jih ustvarili ljudje. A na spletu je danes vse več podatkov, ki so jih ustvarili modeli sami, zato bodo njihove prihodnje generacije skoraj neizogibno trenirane (tudi) na teh vsebinah. Na to so opozorili avtorji študije »AI models collapse when trained on recursively generated data«, objavljene v reviji Nature. Eksperimentalno so pokazali, da neselektivno učenje iz podatkov, ki jih proizvajajo drugi modeli, lahko vodi v t. i. kolaps modela (Shumailov et al., 2023). Gre za degenerativni proces, pri katerem modeli postopoma izgubljajo stik z izvirno porazdelitvijo podatkov – tudi če se porazdelitev čez čas sploh ni spreminjala. Lahko bi rekli, da začnejo izgubljati stik z realnostjo.

V tem procesu najprej izginejo »repi« oz. robni deli porazdelitve podatkov, torej redki, netipični in manj verjetni primeri, ki pa nosijo pomembno informacijsko vrednost. Naučena vedenja modelov se skozi generacije vse bolj ožijo v ozko povprečje z majhno varianco. Povedano bolj preprosto: modeli začnejo pozabljati malo verjetne, a pomembne vzorce, ker se učijo predvsem iz lastnih poenostavljenih projekcij realnosti. Posledično začnejo proizvajati vsebine, ki statistično odstopajo od prvotne izvirne porazdelitve. Obenem tudi utrjujejo napake, ki so nastale že v prejšnjih generacijah. Gre za postopno degradacijo znanja, podobno kot pri fotokopiji fotokopije – besedilo ostane berljivo, a barve oz. nianse sčasoma zbledijo.

Gre za postopno degradacijo znanja, podobno kot pri fotokopiji fotokopije – besedilo ostane berljivo, a barve oz. nianse sčasoma zbledijo.

Kaj so »repi« in premiki porazdelitve?

V statističnem smislu večino podatkov običajno najdemo v sredini porazdelitve, ki predstavlja povprečje, medtem ko repi na obeh straneh zajemajo redke in neobičajne primere. Prav ti repi dajejo jeziku raznolikost, nianse in sposobnost obravnave netipičnih situacij. Če UI piše samo o tistem, kar je povprečno oz. najpogostejše, začne pozabljati na te redke, specifične in kreativne izjeme. S tem se zgodi tudi premik porazdelitve: modelova notranja predstava sveta se postopoma odmika od realnosti, kakršno izkuša povprečen človek. Če bi se UI o modi učil npr. samo na Instagramu, bi čez čas mislil, da vsi ljudje nosijo dizajnerska oblačila, ki so nenehno v akcijah s popusti.

Pri kolapsu modela torej ne gre za neposredno brisanje znanja, temveč za postopno izkrivljanje interpretacije realnosti, ki jo model dojema kot resnično. Pojav ni enak t. i. »katastrofalnemu pozabljanju«, kjer model izgublja že naučene informacije ob učenju novih nalog. Iz vsega tega izhaja, da je neprekinjena dostopnost do »originalnih« podatkov za modele ključnega pomena. Le tako se lahko zagotovi trajnost učenja v daljšem časovnem obdobju.

Pri kolapsu modela ne gre za neposredno brisanje znanja, temveč za postopno izkrivljanje interpretacije realnosti.

Več podatkov ne pomeni več znanja

Veliki jezikovni modeli temeljijo na preprostem načelu: iz ogromnih količin besedil se naučijo, katera beseda najverjetneje sledi drugi. Ne razumejo sveta, ampak zelo dobro poznajo njegove statistične vzorce. Dolgo je veljalo, da je rešitev za boljše modele preprosta: več podatkov, več računske moči, več parametrov. Danes pa vse bolj kaže, da ima ta logika neko mejo. Kot smo že ugotovili, internet ni neskončen vir kakovostnega znanja. Velik del najboljših vsebin – knjige, znanstveni članki, arhivirani mediji – je zaprt za plačljivimi zidovi. Tisto, kar ostaja prosto dostopno, pa je vse pogosteje že delo UI: generični članki, avtomatski opisi, besedila SEO in vsebine, ki so napisane predvsem zato (in tako), da jih berejo algoritmi. Večje število besedil ne pomeni nujno več znanja – lahko pomeni tudi več povprečja.

Problematično je, da se na prvi pogled ne zgodi nič dramatičnega. Odgovori so še vedno tekoči, slog je pravilen, besedilo je videti smiselno. Tako uporabnik niti ne opazi, da modeli postajajo vse boljši pri ponavljanju najverjetnejših odgovorov in vse slabši pri vsem, kar odstopa od povprečja. Redkejše informacije, netipični pogledi in mejni primeri postopoma izginejo. To sicer ne pomeni, da je tak potek neizogiben. Pomeni pa, da nepremišljena izbira podatkov ne pomeni nujno boljših modelov.

Velik del najboljših vsebin – knjige, znanstveni članki, arhivirani mediji – je zaprt za plačljivimi zidovi. Tisto, kar ostaja prosto dostopno, pa je vse pogosteje že delo UI.

Sintetični podatki niso čudežno zdravilo

Zagovorniki hitrega razvoja na te očitke pogosto odgovarjajo, da bodo vse probleme rešili prav sintetični podatki – torej podatki, ki jih ustvari UI sam. Ti imajo v določenih okoljih nedvomno pomembno vlogo, na primer v medicini ali pa v varnostnih simulacijah. Težava pa nastane, ko sintetični podatki postanejo glavni vir splošnega znanja. Model sam namreč ne ve, ali je neki podatek resničen ali ne. Ve le, kako pogosto se pojavlja in v kakšnem kontekstu. Če se začne učiti iz lastnih vsebin, se UI ne uči delovanja sveta, temveč lastne interpretacije sveta. In kot že dolgo opozarjajo komunikologi, je vsaka interpretacija sveta tudi njegova poenostavitev.

Ob tem je treba opozoriti, da razvijalci algoritmov uporabljajo sintetične podatke – z namenom, da bi si zmanjšali stroške. Če je bilo včasih povezovanje resničnih in sintetičnih podatkov dobro nadzorovano, danes to ne velja več povsem. V strokovni literaturi se v zvezi s tem vse pogosteje pojavljajo opozorila, da treniranje modelov s sintetičnimi podatki brez nadzora predstavlja tveganje. Sintetični podatki sicer niso nujno slabi, so pa vsekakor slabe nekontrolirane povratne zanke. Tudi Sam Altman, izvršni direktor podjetja OpenAI (ki razvija nekatere najbolj razširjene generativne modele), je javno priznal, da napredek v prihodnje ne bo več temeljil na številu podatkov, pač pa na bolj premišljeni izbiri in obdelavi podatkov.

Izvršni direktor podjetja OpenAI: Napredek v prihodnje ne bo več temeljil na številu podatkov, pač pa na bolj premišljeni izbiri in obdelavi podatkov.

V kontekstu sintetičnih podatkov so sesutje modela dodatno preučevali v študiji »Self-Consuming Generative Models Go MAD«. V njej so avtorji pokazali, da rekurzivno učenje s sintetičnimi podatki vodi v samopotrdilno učno zanko (ang. self-consuming loop), ki močno vpliva na jezikovno raznolikost. Ocenili so, da bodo brez zadostne količine svežih resničnih podatkov prihodnji generativni modeli obsojeni na upadanje kakovosti in raznolikosti. To stanje so poimenovali Model Autophagy Disorder (MAD) oziroma motnja avtofagije modela, pri čemer so povlekli vzporednico z boleznijo norih krav (ang. Mad Cow Disease). Bolezen norih krav se je namreč pojavila, ker so krave hranili s krmo, narejeno iz ostankov drugih krav (kostna moka). Rastlinojedce so tako rekoč spremenili v kanibale. Izraz avtofagija pomeni »samonajedanje«. To je proces, pri katerem sistem začne razkrajati samega sebe, da bi preživel, a se ob tem uniči. Medtem ko so se pri kravah kopičili strupeni prioni, se pri UI lahko kopičijo statistične napake in nesmisli.

Poleg vprašanja podatkov pa se pri umetni inteligenci odpira še eno manj vidno vprašanje: vprašanje nastavitev. Veliki jezikovni modeli niso le naučeni, temveč tudi usmerjeni – k določenim tonom, razlagam in mejam sprejemljivega. To samo po sebi ni težava. Težava nastane, ko takšne usmeritve začnejo nadomeščati raznolikost virov in interpretacij. Če se modeli prihodnosti učijo iz že normativno zglajenih vsebin, ne dobimo le izkrivljene, ampak tudi zoženo sliko sveta. Poleg tega se modeli pogosto optimizirajo za povprečnega uporabnika, kar naprednemu uporabniku daje občutek, da se model poneumlja. A v resnici modeli ne postajajo neumni, ampak postajajo povprečni. Povprečje pa je za znanje pogosto nevarnejše kot očitna napaka.

Veliki jezikovni modeli niso le naučeni, temveč tudi usmerjeni – k določenim tonom, razlagam in mejam sprejemljivega.

Kako preprečiti sesutje

V prej omenjeni študiji so podali oceno, koliko sintetičnih podatkov model še prenese, ne da bi se sesul. Ugotovili so, da mora biti – v izogib sesutju modela – količina generiranih podatkov znatno manjša v primerjavi s prvotnimi podatki. Pri učenju zgolj s podatki, vzorčenimi iz modela prejšnje generacije, pa je po napovedi avtorjev študije sesutje praktično neizogibno. Zapisali so tudi, da naj bi se po nekaterih projekcijah nabor primernih jezikovnih podatkov za učenje velikih jezikovnih modelov lahko izčrpal že v letu 2026.

Po navedbah v študiji »On the Caveats of AI Autophagy« je najpreprostejša rešitev za ublažitev sesutja modela »cherry-picking«, odstranjevanje nekakovostnih ali napačnih sintetičnih vsebin, da se v naslednjih korakih učenja zagotovi uporaba zgolj kakovostnih vzorcev. Podobno je pri jezikovnih modelih mogoče zaznati in izločiti halucinacije ali jezikovno nesprejemljive vsebine. Poleg tega je bilo teoretično in empirično dokazano, da zadrževanje resničnih (človeških) podatkov v učnem ciklu ublaži učinke sesutja. Vendar pa je uspeh teh metod odvisen predvsem od uspešne prepoznave sintetičnih podatkov. Eden izmed načinov za identifikacijo sintetičnih vsebin so vodni žigi, ki se pri fotografijah lahko dokaj dobro obnesejo. Raziskovalci poleg tega razvijajo še algoritme za pasivno zaznavanje, ki temeljijo na lastnih razlikah med sintetično in človeško vsebino. Vendar pa z napredkom tehnologije postaja meja med človeškim in umetnim vse bolj zamegljena in težje ločljiva.

Podjetja, ki upravljajo generativne platforme, se po navedbah avtorjev problema še ne lotevajo dovolj zavzeto – spletni podatki se še vedno absorbirajo neregulirano, implementacije strategij za filtriranje sintetičnih vsebin še ni na obzorju. Čeprav so podjetja sprejela ukrepe za omejevanje škodljivih ali neetičnih vsebin, se niso specifično lotila vprašanja sintetične kontaminacije. Neposredni dokazi o vplivih tovrstnega pristopa so sicer omejeni, vendar pa so nekateri indici kazali na poslabšanje zmogljivosti modelov, kot sta GPT-3.5 in GPT-4. Ta modela sta med marcem in junijem 2023 pokazala povečano število napak pri oblikovanju kode. Ni bilo dokazano, a se je špekuliralo, da bi k temu lahko prispevalo prav onesnaženje naborov podatkov z vsebino UI. V študijah poudarjajo, da obvladovanje samoreferenčnega učenja UI zahteva zakonodajne regulacije, ki zagotavljajo prepoznavnost sintetičnih vsebin. Ta preglednost je nujna za preprečevanje dezinformacij, zaščito intelektualne lastnine in ne nazadnje za ohranjanje zaupanja v digitalne medije. »Poneumljanje« modelov očitno lahko preprečimo ali vsaj ublažimo; vprašanje je le, ali nam je to sploh v interesu.

Z napredkom tehnologije postaja meja med človeškim in umetnim vse bolj zamegljena in težje ločljiva.

Internet ljudi ni poneumil, je pa neumnost organiziral

Na tem mestu postane vzporednica s človeško družbo skoraj neizogibna. Logika, ki jo opazujemo pri umetni inteligenci, je presenetljivo podobna logiki sodobnega javnega prostora. Ko umetna inteligenca začne posnemati samo sebe, ne kopiči znanja, ampak proizvaja povprečje. Komunikološke teorije že desetletja opozarjajo, da se podobno dogaja tudi v družbah, kjer javni diskurz izgubi zunanje korektive in se začne vrteti okoli lastnih dominantnih narativov. V obeh primerih ne gre za upad inteligence, temveč za sistemsko krčenje raznolikosti. Literatura namreč pravi, da internet ljudi ni naredil manj inteligentnih. Je pa bistveno spremenil pogoje, v katerih se napačna in poenostavljena mnenja širijo in utrjujejo. Če povemo po domače: internet ljudi ni poneumil, je pa neumnost organiziral, jo normaliziral in jo opremil z infrastrukturo, ki omogoča množično reprodukcijo.

Včasih so bila napačna ali poenostavljena mnenja razpršena in pogosto tudi socialno korigirana. Danes pa se zlahka povežejo v kroge, kjer se ta ista napačna prepričanja nenehno potrjujejo in s ponavljanjem začnejo delovati kot dejstva. Gre torej za vprašanje komunikacijskega sistema. Kot opozarja sociologinja Shoshana Zuboff, digitalni sistemi nagrajujejo tisto, kar ohranja pozornost (npr. preprosta in čustvena sporočila, ki se ponavljajo), ne pa nujno tistega, kar poglablja razumevanje. V takem okolju je toliko manj prostora za kompleksnost, dvom in strokovno zadržanost. Pomemben stranski učinek tega procesa je tudi sprememba tona. Kot je razvidno iz študij, z izgubo raznolikosti modeli ne postanejo nujno previdnejši, pogosto postanejo le samozavestnejši pri svojih razlagah. Odgovori zvenijo tekoče, konsistentno in prepričljivo tudi takrat, ko so vsebinsko pomanjkljivi ali napačni. Na to so opozarjali že psihologi, kot je Daniel Kahneman – ljudje tekočnost in samozavest pogosto zamenjujejo za pravilnost. Napačne razlage se tako ne širijo kot očitne napake, temveč kot samozavestno predstavljene interpretacije. Podoben mehanizem deluje tudi v našem človeškem javnem prostoru.

V takem okolju se ne nagrajuje pravilnost, temveč vidnost. Ne nagrajuje se dvom, temveč samozavest. Ne nagrajuje se kompleksnost, temveč poenostavitev. Posamezniki, ki svoje razlage prilagodijo tem pravilom, so bolj slišani in nagrajeni z odzivom, medtem ko tisti, ki vztrajajo pri strokovni zadržanosti, ostajajo v ozadju. Sistem sicer ne izloča napačnih idej, vendar pa zahtevnejše razlage pogosto marginalizira. Poleg tega je videti, da okolja, ki nagrajujejo znanje, postajajo redkejša. Kot je ugotavljal sociolog Pierre Bourdieu, družbena okolja ne nagrajujejo znanja sama po sebi, temveč tiste oblike znanja, ki so v določenem trenutku simbolno priznane. Gre torej za družbene mehanizme, ki določajo, katera znanja so vidna, cenjena in vplivna.

Z izgubo raznolikosti modeli ne postanejo nujno previdnejši, pogosto postanejo le samozavestnejši pri svojih razlagah.

Kam je izginila stroka?

S tem se vzpostavi še en dobro znan komunikološki mehanizem – spirala molka. Ko posamezniki zaznajo, da določena poenostavljena ali samozavestno podana mnenja prevladujejo v javnem prostoru, se tisti z drugačnimi, bolj zadržanimi ali kompleksnimi pogledi vse pogosteje umaknejo iz razprave. Ne zato, ker bi bili manj prepričani o svojih argumentih, temveč zato, ker zaznavajo, da zanje ni več ugodnega komunikacijskega prostora. Molk tako ne pomeni odsotnosti znanja, temveč prilagoditev zaznani večini. V duhu sociologa Jürgena Habermasa je javni prostor smiseln le, dokler omogoča racionalno razpravo med enakovrednimi glasovi, ne pa avtomatske reprodukcije najglasnejših mnenj. Javni prostor brez racionalne razprave in kritičnih korektivov pač ne more opravljati svoje demokratične vloge. S tem se strinja tudi politolog in komunikolog Sebastjan Jeretič, ki opozarja, da bodo algoritmi sledili temu, s čimer jih bomo hranili.

Algoritmi bodo sledili temu, s čimer jih bomo hranili.

S tem je tesno povezana tudi erozija strokovne avtoritete. Ne zato, ker bi bila stroka manj kompetentna, temveč zato, ker je v digitalnem prostoru izgubila poseben komunikacijski položaj. Strokovna mnenja, osebne izkušnje in popolnoma neutemeljene trditve se v spletnem okolju vse bolj pogosto pojavljajo kot enakovredni zapisi. Tudi mediji pri tem niso nedolžni. Prednostno tematiziranje (ang. agenda setting) je ne le prisotno, ampak se pogosto še dodatno zoži na omejen nabor interpretacij. Pluralnost nadomesti enoumje – ne nujno iz ideoloških razlogov. Rezultat tega je diskurz, ki se vrti okoli lastnih predpostavk.

Kot je že v začetku 20. stoletja opozarjal komunikolog Walter Lippmann, javnost sveta ne dojema neposredno, temveč prek poenostavljenih podob. Tudi starosta komunikologije France Vreg je opozarjal, da množična komunikacija ne širi znanja enakomerno, temveč proizvaja prevladujoče interpretacije. V digitalnem okolju, kjer del tega procesa prevzemajo digitalni mediji, algoritmi in umetna inteligenca, se ta mehanizem le še pospešuje.

Dva sistema, ista logika

Umetna inteligenca in človeški diskurz se srečata tudi na tej točki – oba sistema namreč delujeta boljše, če imata stik z raznoliko, nefiltrirano realnostjo. Po drugi strani se oba začneta zapirati vase, ko se vrtita predvsem okoli lastnih vsebin. Če želimo, da se umetna inteligenca ne bo učila zgolj iz povprečja, bo potrebovala kakovostne podatke, človeški nadzor in jasne zunanje korektive. Če želimo, da se javni prostor ne bo skrčil na ponavljanje istih trditev, bo potreboval stroko, pluralnost in pripravljenost na nesoglasje. V nobenem od obeh primerov namreč ne gre za to, da bi sistemi postajali manj inteligentni. Gre za nevarnost, da bi postali preveč podobni sami sebi. Morda se ne soočamo z dobo splošnega poneumljanja, temveč z dobo, v kateri imajo poenostavljene ideje popolno infrastrukturo za rast, zaščito in samopotrditev. Tako pri umetni inteligenci kot v javnem diskurzu se poraja enako ključno vprašanje: Kako v sistem, ki nagrajuje povprečje, ponovno vnesti korektiv resničnosti?

Naloga medijev ne sme biti, da bralcem povedo, kaj je prav – temveč da omogočijo razumevanje kompleksnosti.

Pri tem imajo posebno vlogo mediji. Njihova naloga ne sme biti, da bralcem povedo, kaj je prav – temveč da omogočijo razumevanje kompleksnosti. To pomeni prikaz različnih vidikov, jasno ločevanje dejstev od interpretacij ter spodbujanje kritičnega razmisleka, ne pa posredovanje že pripravljenih sklepov. Medij, ki se odpove pluralnosti in dvomu v korist enoznačnih razlag, morda res povečuje angažma. Vendar pa hkrati zmanjšuje sposobnost javnosti, da sama presoja. V okolju, kjer algoritmi in umetna inteligenca že nagrajujejo poenostavitev in samozavest, postaja odgovornost medijev kot prostorov refleksije in korektiva še toliko pomembnejša.

Mogoče še to: če bi ta članek napisala umetna inteligenca, bi ga morda že jutri povzel drug model in ga nekomu ponudil kot nevtralno razlago. Če bi bila v njem napaka, bi se ta napaka s ponavljanjem le še utrdila. Prav v tem je ključna razlika med človeškim in umetnim pisanjem: človek ne proizvaja le besedila, temveč prevzema odgovornost za njegove posledice.

Ne nazadnje ima vse niti v rokah uporabnik. Kot meni tudi strokovnjak za komunikacijo Dejan Verčič, se da s pomočjo UI priti zelo daleč – vendar le, če človek jezikovni model uporablja kot sogovornika, ne kot avtoriteto in ob tem ohranja kritično razdaljo. Po njegovem mnenju modeli danes niso posebej pametni ali kreativni, prav tako ne pričakuje, da bi to postali v prihodnje. So pa ob realnih pričakovanjih in pravilni rabi lahko zelo uporabno orodje. Umetna inteligenca bo torej v veliki meri takšna, kot jo bomo ljudje znali uporabljati: lahko bo le stroj za ponavljanje povprečja ali pa orodje, ki nam bo – ob nekaj lastne pameti – pomagalo misliti širše.

Ključna razlika med človeškim in umetnim pisanjem: človek ne proizvaja le besedila, temveč prevzema odgovornost za njegove posledice.

(D236: 18-22)