Akceptuję
W ramach naszej witryny stosujemy pliki cookies w celu świadczenia państwu usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczone w Państwa urządzeniu końcowym. Możecie Państwo dokonać w każdym czasie zmiany ustawień dotyczących cookies. Więcej szczegółów w naszej Polityce Prywatności

Zamknij X
Reklama1
Strona główna Nowe technologie

Badania nad wirtualnym tłumaczem języka migowego

Wirtualny tłumacz języka migowego mógłby znacznie uprościć komunikację z osobami niemymi. Aby jednak taki system mógł powstać, trzeba m.in. zgromadzić ogromny zasób danych i zaprojektować odpowiednie algorytmy - opowiada dr inż. Jakub Gałka z Akademii Górniczo-Hutniczej w Krakowie.

Projekt "Wirtualny tłumacz komunikacji migowej" AGH oraz firmy Unico Software rozpocznie się jesienią tego roku i finansowany będzie w ramach Programu Badań Stosowanych Narodowego Centrum Badań i Rozwoju (NCBR).

"Będziemy badać, jakie technologie można zastosować w takim wirtualnym tłumaczu. Chcemy opracować m.in. metody pozyskiwania, przetwarzania i interpretowania obrazu wideo czy sygnału dźwiękowego" - mówi w rozmowie z PAP kierownik projektu, dr inż. Jakub Gałka z Wydziału Informatyki, Elektroniki i Telekomunikacji AGH w Krakowie.

Wirtualny tłumacz mógłby być doradcą głuchoniemych tam, gdzie używa się do komunikacji mowy, ale także mógłby być pomocny osobom zdrowym w komunikacji z niesłyszącymi. "Wyobrażamy sobie np. aplikację bankową, która pomagałaby osobom niesłyszącym w załatwieniu spraw" - opowiada rozmówca PAP. Opisuje, że osoby głuchonieme mogłyby wyjaśnić pracownikom banku jakąś kwestię językiem migowym, a system komputerowy szybko przełożyłby ten komunikat na tekst w języku polskim i przeczytałby go np. za pomocą syntezatora mowy. Tłumacz działałby też w drugą stronę - komputer przekształcałby mówiony język polski na język migowy, który byłby prezentowany na ekranie przez awatar - animowaną postać.

"Technologie, które są już dostępne na rynku, tylko w części spełniają oczekiwania osób niesłyszących. A skoro te osoby potrzebują lepszych możliwości, to dlaczego nie dać im szansy?" - pyta dr Gałka. Dodaje, że na świecie powstają już systemy do komunikacji z osobami niemymi. "Jednak w każdym kraju ludzie posługują się specyficznym dla danego języka systemem migowym. Język migowy polski jest inny niż migowy angielski. Języki różnią się np. gramatyką czy poszczególnymi znakami. Dla każdego języka trzeba więc stworzyć osobny system" - opowiada naukowiec. Zaznacza, że najbardziej rozwinięte systemy tłumaczące istnieją dla języka angielskiego w USA. "Dzięki projektowi będziemy gonić Zachód" - mówi.

Kierownik projektu wyjaśnia, że badania, które dotyczą języka czy komunikacji, zawsze wymagają wielu danych - w odpowiedni sposób opisanych i ustrukturyzowanych. Dlatego w projekcie konieczne będzie zgromadzenie dużej liczby nagrań języka migowego o odpowiednich parametrach technicznych. W ten sposób powstać ma coś w rodzaju wirtualnego słownika czy korpusu języka migowego. Dr Gałka zakłada, że słownik może być nie tylko ważny przy konstruowaniu wirtualnego tłumacza, ale może być cennym zasobem dla innych badaczy, np. językoznawców.

Jak przyznaje badacz, największym wyzwaniem dla jego zespołu może być opracowanie algorytmu, który pozwoli na pozyskiwanie i interpretację gestów migowych. Wyjaśnia, że komputer - analizując obraz np. z kamery - będzie musiał rozpoznać dany ruch niezależnie od tego, jakie będzie oświetlenie, ustawienie osoby względem kamery albo detektora ruchu. Poza tym znaki muszą być rozpoznawane niezależnie od tego, kto je wykonuje, "a przecież styl migania zmienia się w zależności od osoby" - przyznaje badacz.

Innym z wyzwań stojacych przed naukowcami będzie to, jak zachować wierne tłumaczenie z języka mówionego na polski język migowy. "Tłumacz będzie przecież musiał prawidłowo oddać intencje porozumiewających się osób" - komentuje specjalista z AGH.

Dr Gałka podkreśla, że efektem samego projektu, finansowanego przez NCBR, ma być know-how, a nie wytworzenie samego wirtualnego tłumacza. Badacz nie wyklucza jednak, że po zrealizowaniu projektu tłumacz w końcu trafi na rynek. Ekspert zaznacza, że w projekcie nie będzie budowana sztuczna inteligencja, która pozwoli porozumiewać się na wszystkie tematy. "Skupiamy się na metodach, które pozwolą na realizację tylko pewnych konkretnych tematów rozmów, np. tych, które pozwolą na załatwienie spraw w banku" - mówi dr Gałka, ale przyznaje, że zakres tematów może być jednak z czasem powiększany.

Prace zespołu dr. Gałki nie są pierwszymi w Polsce badaniami nad wirtualnym tłumaczem języka migowego. Np. kilkanaście lat temu na Politechnice Śląskiej w projekcie Thetos, pracowano nad tym, by animowana postać pokazywała gesty języka migowego tłumaczone z tekstu. Z kolei na Politechnice Rzeszowskiej badano możliwość zamiany języka gestów migowych na tekst w języku polskim.


PAP - Nauka w Polsce, Ludwika Tomala
Źródło: www.naukawpolsce.pap.pl


Tagi: język migowy, tlumacz, lab, laboratorium, technologia
Drukuj PDF
wstecz Podziel się ze znajomymi

znajdz nas na fcb
Informacje dnia: Stypendia naukowe dla wybitnych młodych naukowców Nanomateriały pomagają w oczyszczaniu wody Pływanie zmniejsza ryzyko zgonu Męska płodność na poziomie molekularnym 16 mln euro dla naukowców zajmujących się żywnością Innowacyjne cewniki medyczne Stypendia naukowe dla wybitnych młodych naukowców Nanomateriały pomagają w oczyszczaniu wody Pływanie zmniejsza ryzyko zgonu Męska płodność na poziomie molekularnym 16 mln euro dla naukowców zajmujących się żywnością Innowacyjne cewniki medyczne Stypendia naukowe dla wybitnych młodych naukowców Nanomateriały pomagają w oczyszczaniu wody Pływanie zmniejsza ryzyko zgonu Męska płodność na poziomie molekularnym 16 mln euro dla naukowców zajmujących się żywnością Innowacyjne cewniki medyczne

Partnerzy

GoldenLine Fundacja Kobiety Nauki Warszawskie Stowarzyszenie Biotechnologiczne (WSB) „Symbioza” Obywatele Nauki NeuroSkoki Biomantis Uni Gdansk MULTITRAIN I MULTITRAIN II Nauki przyrodnicze KOŁO INZYNIERÓW PB ICHF PAN FUNDACJA JWP NEURONAUKA BIOOPEN 2016 QDAY Mlodym Okiem Nauka w Polsce CITTRU - Centrum Innowacji, Transferu Technologii i Rozwoju Uniwersytetu Akademia PAN Chemia i Biznes Farmacom Świat Chemii Forum Akademickie Biotechnologia     Geodezja „Pomiędzy naukami – zjazd fizyków i chemików” WIMC WARSZAWA 2016 Konferencja Biomedyczna Projektor Jagielloński Instytut Lotnictwa EuroLab