Chatbot umjetne inteligencije (AI) ChatGPT može pisati lažne sažetke koje naučnici teško razlikuju od onih koje su napisali ljudi. Od chatbota je zatraženo da izradi 50 sažetaka (abstrakta) na temelju naslova članaka u pet medicinskih časopisa visokog utjecaja.
Istraživači na Univerzitetu Northwestern i Univerzitetu u Chicagu naložili su ChatGPT-u da generiše lažne sažetke istraživanja na temelju 10 stvarnih objavljenih u medicinskim časopisima, a krivotvorine su ubacili kroz dva programa za otkrivanje koji su ih pokušali razlikovati od stvarnih izvješća.
Također su dali lažne radove, kao i prave, recenzentima i zamolili ih da razlikuju to dvoje u slijepoj studiji.
Sažeci koje je generisao ChatGPT prošli su kroz provjeru plagijata: srednji rezultat originalnosti bio je 100%, što znači da nije otkriven plagijat. Detektor AI izlaza uočio je 66% generisanih sažetaka. Ali ljudski recenzenti nisu prošli mnogo bolje: tačno su identificirali samo 68% generiranih sažetaka i 86% originalnih sažetaka. Netačno su identificirali 32% generisanih sažetaka kao stvarne, a 14% pravih sažetaka kao generisane.
Prema recenzentima, lažni dokumenti bili su “neodređeniji i imali su formulatičan način pisanja”, iako je prema studiji bilo “iznenađujuće teško” odrediti koji su pravi, a koji nisu.
Naučnici su podijeljeni oko implikacija: neki smatraju da je to zabrinjavajuće, ali drugi misle da ozbiljni naučnici vjerojatno neće koristiti sažetke generisane umjetnom inteligencijom.
No, moguće je da će lošiji naučnici koji su pod pritiskom koristiti chatbota i predavati radove u recimo predatorskim časopisima ili tamo the ne postoji recenzija.
Istraživači potiču časopise i medicinske konferencije koje se oslanjaju na znanstvene studije da zadrže “rigorozne znanstvene standarde” i implementiraju AI izlazne detektore prilikom recenziranja radova.
Abstracts written by ChatGPT fool scientists
Umjetna inteligencija i mi: dobar, loš, zao
Mala škola AI: Šta je to umjetna inteligencija? Bazične stvari koje treba razumjeti
