Istraživači iz Zuckerman instituta razvili su sistem koji u realnom vremenu koristi iEEG signale da dekodira kojem razgovoru slušaoc obraća pažnju i taj razgovor pojača, dok utišava ostale. U eksperimentima sa četiri učesnika prosečno pojačanje iznosilo je 12 dB, a preferenca za sistem bila je 75–95%. Sistem prati promene pažnje (~5,1 s), smanjuje napor pri slušanju i pokazuje dodatnu korist kod osoba sa oštećenjem sluha, ali još uvek zavisi od invazivnih elektroda i kontrolisanih uslova.
Sistem Kontrolisan Mozgom Pomaže Da Izdvojite Jedan Glas U Gomili
A hearing system monitoring this man's brain activity amplifies a conversation played on his left while quieting one on his right, based on which conversation his brainwaves suggest he is paying attention to. (CREDIT: Vishal Choudhari / Mesgarani lab / Columbia's Zuckerman Institute)
U bučnoj prostoriji problem često nije jačina zvuka već izbor: koji glas želite da čujete. Istraživači iz Zuckerman instituta Univerziteta Kolumbija predstavili su sistem koji koristi moždane signale kako bi u realnom vremenu pojačao razgovor kojem slušaoc obraća pažnju i utišao druge izvore zvuka.
Kako sistem funkcioniše
Sistem čita signale iz govoru odgovornih regija mozga pomoću visokorezolutne intrakranijalne elektroencefalografije (iEEG). Na osnovu tih signala mašinski dekoder procenjuje kom razgovoru slušaoc posvećuje pažnju i dinamički prilagođava jačinu zvuka svakog govornika — pojačava ciljanu strimu, a utišava ostale. Prelazi između nivoa glasnoće uvode se postepeno kroz model sa pet stanja kako bi iskustvo bilo prijatno.
After more than a decade of research, scientists evaluate implanted brain-decoding technology that helps people hear one voice among many. (CREDIT: Matteo Farinella/Columbia’s Zuckerman Institute)
Šta su pokazali eksperimenti
Studija objavljena u Nature Neuroscience sprovedena je na četvoro dobrovoljaca sa implantiranim elektrodama (pacijenti pod monitoringom pre operacije). Kada je sistem aktiviran, prosečno pojačanje ciljanog govora iznosilo je oko 12 dB — promena koja se jasno odrazila na razumevanje i smanjenje napora pri slušanju.
Dekoder je identifikovao paženi razgovor značajno iznad slučajnosti kod svih ispitanika, a preferencija za režim kontrolisan mozgom kretala se između 75% i 95%. Merene promene u širini zjenice kod dva učesnika pokazale su smanjenje napora kada je sistem bio uključen.
Experimental paradigm and offline AAD performance. (CREDIT: Nature Neuroscience)
Praćenje promene pažnje
Sistem je pratio i promene fokusa pažnje: kad su učesnici dobijali instrukciju da prebace pažnju, prosečno vreme za prebacivanje iznosilo je 5,1 s (opseg 4,0–7,0 s). U eksperimentima bez signala, gde su učesnici sami spontano menjali fokus, dekoder je takođe uspešno pratio promene i prilagođavao pojačanje u realnom vremenu.
Kontrola i test na osobama sa oštećenjem sluha
U kontrolnoj varijanti istraživači su namerno obrnuli pojačanje (pojačano je ono što slušalac nije želeo da čuje). Učesnici su brzo prijavili da je takvo iskustvo teže i dezorijentišuće, što potvrđuje da korist zavisi od pravilne detekcije pažnje.
Behavioral performance confirms attentional compliance during repeat-word detection. (CREDIT: Nature Neuroscience)
Audio zapisi koje je sistem generisao kasnije su preslušale 40 osoba sa oštećenjem sluha. Iako je audio bio zasnovan na mozgovnim signalima drugih učesnika, grupa sa oštećenjem sluha jasno je preferirala uslov sa sistemom uključenim i ostvarila veće dobitke u razumljivosti, naročito osobe sa umerenim do teškim gubitkom sluha.
Ograničenja i naredni koraci
Ovo još nije nosivi proizvod: studija se oslanjala na invazivne implantirane elektrode i izvođena je u kontrolisanim uslovima. Potrebni su manje invazivni senzori, brži i robusniji algoritmi za rad u stvarnim, reverberantnim i dinamičnim okruženjima sa više govornika. Ipak, rezultati predstavljaju važan korak ka slušnim pomagalima koja ne samo da pojačavaju zvuk, već i interpretiraju šta vaš mozak želi da čuje.
Nima Mesgarani, vodeći autor: "Cilj nam je razviti neuronsko produženje korisnika koje koristi naturalnu sposobnost mozga za selektivno slušanje."
Rezultati istraživanja dostupni su u časopisu Nature Neuroscience. Originalna priča objavljena je u The Brighter Side of News.
Pomozite nam da budemo bolji.
