Koristeći vrhunsko kompjutersko modeliranje, neuronaučnici sa kalifornijskog univerziteta Berkeley, predvođeni Ludovicom Bellierom “uspješno” su rekonstruisali remek-djelo grupe Pink Floyd “Another Brick in the Wall, Part 1” iz izravnih neuralnih snimaka aktivnosti ljudskog slušnog korteksa. Drugim riječima, samo skeniranjem nečijeg mozga dok sluša pjesmu, naučnici su mogli preokrenuti neuralni odgovor natrag u pjesmu koja je pokrenula podražaj. Zvuči impresivno i zastrašujuće? Šta ako se u budućnosti iz aktivnosti našeg mozga bude moglo čitati šta mislimo i radimo, šta slušamo, gledamo?
Studija, objavljena u PLOS Biology 15. avgusta 2023. je uključivala 29 osoba koje su bile podvrgnute intrakranijalnoj elektroencefalografiji (iEEG) za liječenje epilepsije. Tokom postupka pacijenti su slušali popularnu pjesmu Pink Floyda dok se snimala njihova neuralna aktivnost. Istraživači su zatim upotrijebili takozvani pristup rekonstrukcije podražaja kako bi vidjeli mogu li reprodukovati izvornu pjesmu samo iz neuralne aktivnosti.
Naučnici su uvježbali računalni model na podacima o mozgu sudionika dok su slušali oko 90% pjesme Pink Floyda. Ali preostalih 10% – isječak od 15 sekundi sa sredine – izostavljeno je iz podataka o treningu, piše Science. Umjesto toga, tim je tražio od algoritma da ponovno stvori ovaj dio muzike iz aktivnosti mozga na temelju obrazaca koje je naučio. Tim je istrenirao 128 modela, od kojih je svaki radio na različitoj frekvenciji, i zajedno su uskladili specifične signale elektroda s određenim karakteristikama muzike.
Dakle, nije algoritam čitao misli osoba koje su slušale muziku nego je nadopunio 10% pjesme na osnovu 90% poznatog materijala.
Istraživači su istrenirali algoritam mašinskog učenja za identificiranje obrazaca neuronske aktivnosti koji odgovaraju različitim aspektima pjesme, kao što su melodija, ritam i tekst. Evo kako to zvuči:
“Kombinujući analize kodiranja i dekodiranja, pronašli smo dominaciju desne hemisfere za percepciju muzike s primarnom ulogom gornjeg temporalnog girusa (STG), dokazali novu subregiju STG usklađenu s muzičkim ritmom i definisali anteriorno-posteriornu STG organizaciju koja pokazuje trajnu i početne reakcije na muzičke elemente. Naša otkrića pokazuju izvedivost primjene prediktivnog modeliranja na kratkim skupovima podataka prikupljenih kod pojedinačnih pacijenata, utirući put dodavanju glazbenih elemenata u aplikacije sučelja mozak-računalo (Brain-computer interface -BCI)“, napisali su autori.
Rad je značajniji po tome što su pokazane i definisane regije mozga koje daju reakcije na muzičke elemente. Treba naglasiti i da ovo modeliranje za sada radi na kratkim skupovima podataka (recimo 15 sekundi). Naučnici se nadaju da bi se ovo istraživanje jednog dana moglo iskoristiti za pomoć pacijentima koji teško govore zbog moždanog udara, ozljeda ili degenerativnih bolesti kao što je amiotrofična lateralna skleroza.
Rekonstruisana pjesma nije savršena replika originala, ali je donekle prepoznatljiva i sadrži neke ključne elemente pjesme, poput melodije i ritma. Više kao da pacijenti pjevuše melodiju pjesme u svojim glavama, a istraživači bi mogli ući u melodiju. Nećemo se pretvarati da je ovo Another Brick in the Wall, već samo kao neka distorzija te pjesme. Čuje se riječ “wall” i ponešto je prepoznatljiva melodija.
Međutim, nije isključeno da će algoritmi mašinskog učenja napredovati toliko da će moći mnogo preciznije rekonstruisati ne samo pjesme nego i druge stvari iz moždane aktivnosti.
