V posledních několika desetiletích vědci pravidelně vyvíjeli zařízení, která mají překládat americký znakový jazyk (ASL) do angličtiny, s nadějí na usnadnění komunikace mezi lidmi, kteří jsou neslyšící a neslyšící, a světem sluchu. Mnoho z těchto technologií používá rukavice k zachycení pohybu podpisu, který může být objemný a nepříjemný.
Nyní skupina vědců na Michiganské státní univerzitě (MSU) vyvinula zařízení bez rukavic o velikosti trubice Chapstick, u které doufají, že zlepší překlad ASL-angličtiny.
Tato technologie, nazvaná DeepASL, používá kamerové zařízení k zachycení pohybů rukou a poté data přenáší pomocí algoritmu pro hluboké učení, který je přizpůsobuje znakům ASL. Na rozdíl od mnoha předchozích zařízení může DeepASL překládat celé věty spíše než jednotlivá slova a nevyžaduje, aby uživatelé přestali mezi znaky.
"Toto je skutečně neintruzivní technologie, " říká Mi Zhang, profesor elektrotechniky a informatiky, který vede výzkum.
Zhang a jeho tým doufají, že DeepASL pomůže lidem, kteří jsou hluchí a neslyšící tím, že slouží jako překladatel v reálném čase. Zvláště by to mohlo být užitečné v nouzových situacích, říká Zhang, když čekání na překladatele může stát drahé minuty. Zhang říká, že zařízení, které lze integrovat do telefonu, tabletu nebo počítače, může také pomoci s výukou ASL. Protože více než 90 procent hluchých dětí se rodí rodičům, kteří slyší, existuje velká komunita dospělých, kteří se potřebují rychle naučit ASL. DeepASL by mohl sloužit jako digitální lektor, poskytující zpětnou vazbu o tom, zda se studenti podepisují správně.
Zhang požádal o patent a doufá, že do jednoho roku bude na trhu zařízení. Protože je založen na dostupné technologii - systém snímání pohybu Leap Motion prodává za 78 USD - mohl být dostupnější než předchozí úsilí.
Vědci Biyi Fang a Mi Zhang demonstrují DeepASL. (Michiganská státní univerzita) Ale Christian Vogler, profesor komunikačních studií na Gallaudet University, univerzita pro lidi, kteří jsou neslyšící nebo neslyšící, je skeptický vůči zařízením navrženým k překladu ASL a jeho skepticismus sdílí mnoho lidí v neslyšící komunitě.
Zařízení obecně „nepřekládají“ ASL, pouze rozpoznávají ruční značky a mění je na anglické slovo podle značky, říká Vogler. To znamená, že jsou ztraceny klíčové gramatické informace, informace o tom, zda je fráze otázkou, negací, relativní větou atd. Zatímco DeepASL překládá celé věty, některé rysy gramatiky ASL přesahují znaky rukou - výrazy obličeje se často používají jako modifikátory, zvyšování obočí může změnit frázi na otázku, umístění těla může naznačovat, kdy uživatel ASL cituje někoho jiného.
Dosud „žádný ze systémů nebyl pro lidi, kteří podepisují, vzdáleně užitečný, “ říká Vogler a dodává, že výzkumníci se často zdají „velmi málo v kontaktu s [neslyšící a neslyšící] komunitou a jen velmi malou představu o jejich skutečné potřeby."
Tým Zhang netestoval zařízení u lidí, kteří byli hluchí a neslyšící, ale u studentů v programu překladu znakové řeči. Zhang zdůrazňuje, že DeepASL je navržen tak, aby v tomto bodě umožňoval pouze základní komunikaci, a že je to pouze počáteční místo. Říká, že jeho tým doufá, že v budoucnu rozšíří schopnosti DeepASL, aby zachytil i výrazy obličeje.
„To bude další významný mezník, kterého bychom měli dosáhnout, “ říká.
Vogler říká, že je pozitivní, že technologie MSU používá hluboké metody učení, které mají úspěch s mluveným jazykem. Navzdory tomu, že to rukavice nevyžadují, má zařízení pravděpodobně stejné nástrahy jakéhokoli předchozího systému, protože nezachycuje pohyby obličeje a těla.
Vogler si myslí, že by se vědci měli odklonit od myšlenky, že zařízení pro rozpoznávání znakového jazyka mohou skutečně splnit osobní komunikační potřeby.
"Máme mnoho možností, jak usnadnit osobní komunikaci, a dokud nebudeme mít něco, co skutečně respektuje jazykové vlastnosti podepsaných jazyků a skutečné komunikační chování signatářů, toto úsilí se nikde téměř nenahradí ani nenahradí, " říká. "Místo toho musí lidé pracovat se skutečnými členy komunity as lidmi, kteří rozumí složitosti podepsaných jazyků."
Vogler říká, že by bylo užitečné pro technologii rozpoznávání znakového jazyka, jako je MSU, pracovat s hlasovými rozhraními, jako je Alexa. Růst těchto rozhraní je výzvou pro přístupnost pro lidi, kteří jsou hluchí a neslyšící, říká, stejně jako internet - do značné míry vizuální médium - představuje velkou výzvu pro lidi, kteří jsou v průběhu let slepí.
"V současné době nemáme účinný a efektivní způsob interakce s těmito hlasovými rozhraními, pokud nemůžeme nebo nechceme používat náš hlas, " říká. "Rozpoznávání znakového jazyka je perfektní kombinací této situace a situace, která by ve skutečnosti mohla být užitečná a zvyklá."
