Biksonimanija: lažna bolest koja je zavarala umjetnu inteligenciju

Desio se jedan neobičan, pa čak i etički upitan, ali važan eksperiment koji pokazuje koliko umjetna inteligencija može biti nepouzdana kada je riječ o medicinskim informacijama. Za one koji ne znaju, preprint platforme su stranice na kojima se naučni rad može postaviti i prije objave u recenziranoj stručnoj literaturi i dosta radova se na kraju zapravo ne objavi u naučnim časopisima. Istraživanje je provela naučnica Almira Osmanović Thunström, medicinska istraživačica sa Univerziteta u Göteborgu u Švedskoj. Njen cilj bio je da testira da li će AI sistemi prihvatiti potpuno izmišljene informacije i predstavljati ih kao stvarne.

Kako bi provjerila da li AI sistemi, odnosno veliki jezički modeli (LLM) mogu prihvatati i izmišljene informacije, Almira je smislila lažnu bolest pod nazivom biksonimanija (bixonimania). Uz to je kreirala i dva izmišljena naučna rada o toj bolesti i objavila ih na internetu na preprint platformama početkom 2024. godine. Jedan od autora tih radova bio je također izmišljen lik s namjerno sumnjivim imenom – Lažljiv Izgubljenović. U radovima su postojali i brojni drugi tragovi da se radi o fikciji, poput nepostojećih univerziteta i šaljivih referenci, ali uprkos tome eksperiment je imao snažan efekat.

Već nakon kratkog vremena, popularni AI chatbotovi počeli su govoriti o biksonimaniji kao o stvarnoj bolesti. Neki su je opisivali kao stanje povezano s dugotrajnim izlaganjem plavom svjetlu s ekrana, pa su čak savjetovali korisnicima da potraže medicinsku pomoć. Još više zabrinjava to što su se lažni radovi kasnije pojavili kao reference u pravim naučnim publikacijama, što sugerira da su ih pojedini istraživači koristili bez provjere. Jedan od časopisa koji je objavio rad je i Cureus, u vlasništvu Nature grupe. Ovo dokazuje da čak i časopisi koji pripadaju renomiranom izdavaču nisu jednako vrednovani i ono što se u njima objavljuje jednako skrutiznizirano, podvrgnuto ispitivanju i recenziji. Ovaj i niz drugih radova su na kraju povučeni.

Ovaj eksperiment je imao i svoju etičku stranu i propitivanja, jer se radi o kontaminaciji digitalnog prostora dezinformacijama, lažnim dijagnozama što može da se odrazi na naučnu zajednicu. Zbog toga je Osmanović Thunström morala imati specijalnu dozvolu etičkog komiteta da provede sve ovo.

Čak je i AI model Perplexity počeo koristiti lažni rad, a za Perplexity je važilo kako je jedan od najboljih po pitanju referenci.

Dakle, ono što se tvrdi da se događa – enšitifikacija naučnih radova i izdavaštva, stvarno postoji, Naučnici bi morali svaku referencu i citat provjeravati. I ovo čak nije ni jedini slučaj. Svijet nauke i tehnologije je preplavljen haluciniranim AI citatima radova koji ili ne postoje ili su sami radovi AI generisani.

Sve ovo pomalo podsjeća na podvalu Alana Sokala gdje su nasjeli ljudi, naučnici na Sokalov izmišljeni rad „Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity”.

Vrlo je važno napomenuti da su ovi „radovi“ po okončanju eksperimenta skinuti i sa preprint platformi, kako ne bi dalje kontaminirali ulazne podatke.

„Ovaj rad proizlazi iz kontinuiranog istraživanja s mojim studentima o tome kako se konstruiraju veliki jezični modeli i kako se ponašaju – posebno u načinu na koji uključuju razmišljanje i zaključivanje na temelju izvornog materijala s interneta. Radim s chatbotovima i konverzacijskom umjetnom inteligencijom već više od desetljeća, a ovaj projekt je dijelom motiviran željom da se na konkretan i sljediv način demonstrira kako ti sustavi funkcioniraju kada naiđu – ili u ovom slučaju generiraju – informacije o nečemu što ne postoji”, kazala je za Nauka govori Almira Osmanović Thunström.

Eksperiment je pokazao i da AI modeli lakše prihvataju informacije koje izgledaju profesionalno, poput naučnih članaka, nego sadržaj s društvenih mreža. Zbog toga su skloni da „haluciniraju”, odnosno izmišljaju ili proširuju netačne informacije ako im izvor djeluje uvjerljivo.

„Eksperiment je organski izrastao iz ranijeg istraživanja korištenjem slične metodologije: stvaranje specifične podatkovne točke i praćenje kako se ona širi i interpretira u sustavima. S obzirom na to da je moja pozadina u medicini, činilo se najprirodnijim konstruirati izmišljeno stanje – i ovdje želim biti precizna, jer je to stanje, a ne bolest, što je značajna klinička razlika – ono koje je osmišljeno da bude benigno i samoograničavajuće, ne zahtijevajući intervenciju, upravo tako da nikakva šteta ne može nastati od susreta bilo koga s njim. Cilj je bio promatrati, a ne zavaravati”, dodala je dr Osmanović Thunström.

Iako su novije verzije AI sistema ponekad sposobne prepoznati da biksonimanija nije stvarna, njihovi odgovori i dalje mogu varirati ovisno o načinu na koji se postavi pitanje. To ukazuje na ozbiljan problem nepouzdanosti u kontekstu zdravlja. Istovremeno, vidimo i ovisnost korisnika o AI chatbotovoj dijagnostici, pa čak i guranje botova kao dijagnostičkog sredstva od strane ozbiljnih institucija zdravstva, bez razmišljanja o posljedicama i mogućnostima netačnih i izmišljenih dijagnoza. Cilj je smanjiti pritisak na žive ljekare, po cijenu kvaliteta medicinske usluge.

„Ono što nam ovo najjasnije govori jest da moramo biti znatno oprezniji kada se komercijalni jezični modeli koriste u medicinskom kontekstu ili za traženje medicinskog savjeta. Ostaje otvoreno pitanje primjenjuju li se ista ograničenja na specijaliziranije, preciznije medicinske LLM-ove – na koje još ne možemo sa sigurnošću odgovoriti, budući da ti modeli još nisu u širokoj kliničkoj upotrebi. Samu tu nesigurnost vrijedi prihvatiti“, istakla je dr Osmanović Thunström.

Na kraju, ovaj eksperiment ne upozorava samo na slabosti umjetne inteligencije i nemogućnost da ona istinski vrši provjeru činjenica, već i na ljudsku sklonost da joj vjeruje bez dodatne provjere. Pokazuje koliko je važno kritički pristupati informacijama, posebno kada dolaze iz izvora koji na prvi pogled djeluju naučno i pouzdano.

Ali ko bi onda trebao snositi odgovornost za ovakve pojave?

„Ovo je zaista teško i, iskreno, to je nešto s čime se i dalje borim. U medicini, moj instinkt uvijek je da odgovornost pripišem proizvođaču. Ali ovaj slučaj komplicira taj refleks, jer proizvođači komercijalnih LLM-ova nisu ih pozicionirali kao alate za medicinske informacije – ta upotreba izlazi izvan njihove navedene namjere. Što bi, čini se, odgovornost pripisalo korisniku. Ipak, kako se od prosječne osobe očekuje da razlikuje namjeravanu i nenamjernu upotrebu kada model slobodno i samouvjereno pruža informacije bez obzira na sve? I kako bi istraživači trebali identificirati manjkav sadržaj generiran umjetnom inteligencijom ako uđe u recenziranu literaturu bez transparentnog otkrivanja? Ovo je složen, slojevit problem koji zaslužuje ozbiljnu i hitnu pozornost – a ne tiho odgađanje koje obično dobiva”, kazala je Osmanović Thunström.

No jedno od najvažnijih pitanja za Almiru bilo je pitanje etičke dileme kontaminacije infosfere jednom dezinformacijom:

„Ovo je možda pitanje koje smatram osobno najvažnijim, jer etička težina namjernog uvođenja lažnih informacija u znanstvene i medicinske prostore – čak i u kontroliranom, istraživačkom kontekstu – nije nešto što sam shvatila olako. Zabrinutost zbog kontaminacije informacijskog ekosustava je stvarna i valjana, i osjećala sam je snažno tijekom cijelog ovog rada. Ono što me utemeljilo, bila je struktura koju sam uspostavila od samog početka: stalni odbor kolega iz medicinskog područja s kojima sam se redovito konzultirala tijekom cijelog procesa. Služili su mi kao rezonantna ploča – ne samo o naučnim dimenzijama, već posebno o pitanjima pravne odgovornosti, etičkih granica i što znači odgovorno provoditi ovu vrstu istraživanja. Imati tu skupinu ljudi kojima se mogu vratiti, osporiti svoje razmišljanje i testirati svoje odluke, omogućilo mi je da krenem naprijed s povjerenjem da ostajem na pravoj strani tih granica. Nikada to nije bila samostalna procjena, a mislim da je to važno. Istraživanje koje ispituje granice integriteta informacija vjerovatno se ne bi trebalo provoditi izolirano“.

Almira Osmanović Thunström je rođena u Bosni i Hercegovini, i to u Banjaluci ali je kao dijete izbjegla s roditeljima u Švedsku, gdje je ostvarila karijeru. Doktorski studij je započela u oblasti biologije, s fokusom na strukturne promjene mozga kod osoba koje imaju kognitivno opadanje. Tokom svog istraživačkog rada shvatila je da će budućnost medicinskih istraživanja u velikoj mjeri zavisiti od automatizacije, umjetne inteligencije i kvalitetnog dizajna sistema. Zbog toga je promijenila pravac svog istraživanja i usmjerila se ka novim tehnologijama poput umjetne inteligencije, gdje se danas primarno bavi razvojem, ali i kritičkom analizom, odnosno „razgradnjom“ AI sistema u zdravstvu, s posebnim naglaskom na njihovu sigurnost i pouzdanost.

 

Izvor:

Scientists invented a fake disease. AI told people it was real

The fake disease that fooled the internet — and what it says about all of us