S pokroky v elektronice a neurovědě byli vědci schopni dosáhnout u zařízení na implantaci mozku pozoruhodné věci, jako je navrácení zdání zraku nevidomým. Vědci hledají kromě obnovení fyzických smyslů také inovativní způsoby, jak usnadnit komunikaci těm, kteří ztratili schopnost mluvit. Například nový „dekodér“ přijímající data z elektrod implantovaných do lebky může pomoci ochrnutým pacientům mluvit pouze pomocí jejich mysli.
Vědci z Kalifornské univerzity v San Franciscu (UCSF) vyvinuli dvoustupňovou metodu přeměny mozkových signálů na počítačově syntetizovanou řeč. Jejich výsledky publikované tento týden ve vědeckém časopise Nature poskytují možnou cestu k plynulejší komunikaci pro lidi, kteří ztratili schopnost mluvit.
Vědci se už léta pokoušejí využít nervové vstupy a dát hlas zpět lidem, jejichž neurologické poškození jim brání mluvit - jako přeživší mrtví nebo pacienti s ALS. Až dosud bylo mnoho z těchto rozhraní mozek-počítač vybaveno přístupem dopis od písmene, ve kterém pacienti pohybují očima nebo obličejovými svaly, aby vyhláskovali své myšlenky. (Stephen Hawking skvěle namířil syntetizátor řeči malými pohyby v jeho tváři.)
Ale tyto typy rozhraní jsou pomalé - většina z nich produkuje maximálně 10 slov za minutu, zlomek průměrné řečnické rychlosti lidí 150 slov za minutu. Pro rychlejší a plynulejší komunikaci vědci UCSF používali algoritmy hlubokého učení k přeměně neuronových signálů na mluvené věty.
"U těchto pacientů je mozek nedotčen, ale neurony - cesty, které vedou k pažím nebo k ústům nebo nohám - jsou rozbité." Tito lidé mají vysoké kognitivní funkce a schopnosti, ale nemohou plnit každodenní úkoly, jako je pohybovat se nebo říkat cokoli, “říká Gopala Anumanchipalli, spolu-vedoucí autor nové studie a spolupracovník specializující se na neurologickou chirurgii na UCSF. "V zásadě obcházíme rozpadlou cestu."
Vědci začali s údaji o mozkové aktivitě s vysokým rozlišením shromážděným od pěti dobrovolníků v průběhu několika let. Tito účastníci - všichni, kteří měli normální řečovou funkci - již procházeli procesem monitorování epilepsie, při kterém byly implantovány elektrody přímo do jejich mozků. Changův tým použil tyto elektrody ke sledování aktivity v mozku souvisejících oblastech řeči, když si pacienti přečetli stovky vět.
Odtud tým UCSF vypracoval dvoustupňový proces k opětovnému vytvoření mluvených vět. Nejprve vytvořili dekodér pro interpretaci zaznamenaných vzorců mozkové aktivity jako pokynů pro pohyblivé části virtuálního hlasového traktu (včetně rtů, jazyka, čelisti a hrtanu). Poté vyvinuli syntetizátor, který pomocí virtuálních pohybů vytvořil jazyk.
Jiný výzkum se pokusil dekódovat slova a zvuky přímo z nervových signálů a přeskočil prostřední krok dekódovacího pohybu. Studie, kterou vědci UCSF zveřejnili v loňském roce, však naznačuje, že řečové centrum vašeho mozku se zaměřuje spíše na to, jak pohybovat hlasivkou a vytvářet zvuky, než jaké budou výsledné zvuky.
"Vzory mozkové činnosti v řečových centrech jsou specificky zaměřeny na koordinaci pohybů vokálního traktu a pouze nepřímo souvisejí se samotnými zvuky řeči, " Edward Chang, profesor neurologické chirurgie na UCSF a spoluautor nového článku, řekl v tiskovém briefingu tento týden. "Výslovně se snažíme dekódovat pohyby, abychom vytvořili zvuky, na rozdíl od přímého dekódování zvuků."
Příklad mozkového implantačního pole intrakraniálních elektrod typu použitého k záznamu mozkové aktivity. (UCSF) Pomocí této metody vědci úspěšně zpětně vytvořili slova a věty z mozkové činnosti, které zhruba odpovídaly zvukovým záznamům řeči účastníků. Když požádali dobrovolníky na online platformě crowdsourcingu, aby se pokusili identifikovat slova a přepsat věty pomocí slovní banky, mnoho z nich porozumělo simulované řeči, i když jejich přesnost zdaleka nebyla dokonalá. Ze 101 syntetizovaných vět bylo asi 80 procent dokonale přepsáno alespoň jedním posluchačem pomocí banky 25 slov (tato sazba klesla na asi 60 procent, když se velikost banky slov zdvojnásobila).
Těžko říci, jak se tyto výsledky porovnávají s jinými syntetickými experimenty řeči, uvádí v e-mailu Marc Slutzky, severozápadní neurolog, který se nové studie nezúčastnil. Slutzky nedávno pracoval na podobné studii, která produkovala syntetizovaná slova přímo ze signálů mozkové kůry, aniž by dekódovala pohyb hlasového traktu, a věří, že výsledná kvalita řeči byla podobná - ačkoli rozdíly v metrikách výkonu ztěžují přímé srovnání.
Jedním z vzrušujících aspektů studie UCSF je však to, že dekodér může zobecnit některé výsledky mezi účastníky, říká Slutzky. Hlavní výzvou pro tento typ výzkumu je to, že školení algoritmů dekodéru obvykle vyžaduje, aby účastníci hovořili, ale technologie je určena pro pacienty, kteří již nemohou mluvit. Schopnost zobecnit část výcviku algoritmu by mohla umožnit další práci s paralyzovanými pacienty.
Aby vědci tuto výzvu vyřešili, vyzkoušeli také zařízení s účastníkem, který mlčky napodobil věty, místo aby je vyslovil nahlas. Ačkoli výsledné věty nebyly tak přesné, autoři tvrdí, že skutečnost, že syntéza byla možná i bez vokalizované řeči, má vzrušující důsledky.
"Bylo opravdu pozoruhodné zjistit, že bychom stále mohli generovat zvukový signál z aktu, který vůbec negeneroval zvuk, " uvedl Josh Chartier, spoluautor autorovi postgraduálního studia na UCSF a bioinženýrství, na tiskové konferenci .
Obrázek autora studie Gopala Anumanchipalli, PhD, který drží příklad pole intrakraniálních elektrod typu použitého k záznamu mozkové aktivity v současné studii. (UCSF) Dalším cílem budoucího výzkumu je sledovat demonstrace dekodéru v reálném čase, říká Anumanchipalli. Současná studie byla míněna jako důkaz koncepce - dekodér byl vyvinut odděleně od procesu sběru dat a tým netestoval rychlost přenosu mozkové aktivity v reálném čase na syntetizovanou řeč, i když by to byl konečný cíl klinické zařízení.
Tato syntéza v reálném čase je něco, co vyžaduje zlepšení, aby bylo takové zařízení v budoucnu užitečné, říká Jaimie Henderson, neurochirurg Stanford, který se studie nezúčastnil. Přesto říká, že autorova dvoustupňová metoda je vzrušujícím novým přístupem a použití technologie hlubokého učení může poskytnout nový pohled na to, jak řeč skutečně funguje.
"Pro mě je myšlenka začít zkoumat základní podstatu toho, jak se u lidí projevuje řeč, velmi vzrušující, " říká Henderson. "[Tato studie] začíná zkoumat jednu z našich nejlidských schopností na základní úrovni."
