Tim sa University College London analizirao je aktivnost pojedinačnih neurona u vizuelnoj kori miševa i pomoću sedam pretreneniranih modela rekonstruisao 10‑sekundne video‑klipove. Korelacija između originala i rekonstrukcije porasla je sa 0,301 na do 0,569, pri čemu je vremensko usklađivanje piksela bilo ključ za najbolje rezultate. Rezolucija i pokrivenost su i dalje ograničeni, a istraživači ističu da je cilj bolje razumevanje vizuelne obrade u mozgu uz pažnju na etičke implikacije.
Naučnici Rekonstruišu Video Snimke Koje Su Miševi Videli Iz Njihovih Mozgova
(Argument/iStock/Getty Images Plus)
U novoj, pomalo jezivoj studiji, istraživači sa University College London (UCL) analizirali su aktivnost pojedinačnih neurona u vizuelnoj kori miševa i pomoću algoritama pokušali da rekonstruišu video‑zapise koje su životinje gledale.
Tim je pratio koje ćelije se pale dok su miševi gledali snimke, a zatim je neuronalne podatke progurao kroz modele koji su rekonstruisali slike piksel po piksel. Osnovna ideja bila je „raditi unazad“ iz aktivacije neurona ka vizuelnom zapisu.
Metodologija
Istraživači su koristili dinamički neuronski enkoding model razvijen u prethodnom radu koji predviđa koji će neuroni reagovati na dati video‑ulaz, pri čemu model uzima u obzir i ponašanje miševa tokom projekcije (npr. brzinu kretanja i položaj i prečnik zenica).
YouTube Thumbnail
Da bi poboljšali tačnost rekonstrukcija, tim je pretrenirao sedam varijanti modela koristeći praznu sivu pozadinu kao bazu. Izračunali su razliku u neuronskoj aktivnosti između stanja "gledanja praznog ekrana" i stvarnog video‑stimula, pa su korigovali piksele na bazi te razlike sve dok rekonstruisani video nije postao sličan originalu.
Rezultati
Nakon treniranja, istraživači su pokazali pet miševa potpuno novi 10‑sekundni video koji modeli nisu ranije videli. Prethodni rad je ostvario korelaciju od 0,301 između predviđene i "ground truth" neuronske aktivnosti; u novom eksperimentu tim je postigao korelaciju do 0,569 između originalnog i rekonstruisanog videa.
Uspeh je varirao između snimaka: najvažniji faktor za dobru rekonstrukciju bio je podudaranje tajminga promena piksela (temporalna usaglašenost), dok su rezolucija i vizuelno pokrivanje bile slabije i predstavljaju prioritet za dalji rad.
Subscribe to ScienceAlert's free fact-checked newsletter
„Korišćenjem ovog pristupa uspeli smo da dobijemo rekonstrukcije visokog kvaliteta za 10‑sekundne video‑klipove“, kaže Joel Bauer, neurobiolog sa UCL i vodeći autor studije. „Tačnost rekonstrukcija se poboljšavala uključivanjem podataka iz većeg broja pojedinačnih neurona, što pokazuje značaj sveobuhvatnih neuronskih podataka.“
Širi kontekst i etika
Ideja o "čitaju uma" i pretvaranju percepcije u slike pokreće pitanja privatnosti i etike, posebno u vreme kada su dostupne i metode za dekodiranje ljudskih misli pomoću EEG‑a ili fMRI‑a. Autori naglašavaju da je cilj ovog rada razumevanje kako mozak procesira vizuelne informacije i na koji način se interna reprezentacija razlikuje od spoljne realnosti, a ne komercijalna upotreba "čitanja uma".
Istraživanje je objavljeno u časopisu eLife. Tim planira dalja poboljšanja u pogledu prostorne rezolucije i pokrivenosti, kao i testiranje na većem broju životinja i različitim vrstama stimulusa.
Zaključak: Studija pokazuje da je moguće rekonstruisati osnovne vizuelne sadržaje iz neuronske aktivnosti sa znatnim napretkom u odnosu na ranije modele, ali su potrebna dodatna poboljšanja i etička razmatranja pre nego što slične tehnike postanu primenljive na ljude.
Pomozite nam da budemo bolji.
