Wirtualny tłumacz języka migowego mógłby znacznie uprościć komunikację z osobami niemymi. Aby jednak taki system mógł powstać, trzeba m.in. zgromadzić ogromny zasób danych i zaprojektować odpowiednie algorytmy - opowiada dr inż. Jakub Gałka z Akademii Górniczo-Hutniczej w Krakowie.

Projekt "Wirtualny tłumacz komunikacji migowej" AGH oraz firmy Unico Software rozpocznie się jesienią tego roku i finansowany będzie w ramach Programu Badań Stosowanych Narodowego Centrum Badań i Rozwoju (NCBR).

"Będziemy badać, jakie technologie można zastosować w takim wirtualnym tłumaczu. Chcemy opracować m.in. metody pozyskiwania, przetwarzania i interpretowania obrazu wideo czy sygnału dźwiękowego" - mówi w rozmowie z PAP kierownik projektu, dr inż. Jakub Gałka z Wydziału Informatyki, Elektroniki i Telekomunikacji AGH w Krakowie.

Wirtualny tłumacz mógłby być doradcą głuchoniemych tam, gdzie używa się do komunikacji mowy, ale także mógłby być pomocny osobom zdrowym w komunikacji z niesłyszącymi. "Wyobrażamy sobie np. aplikację bankową, która pomagałaby osobom niesłyszącym w załatwieniu spraw" - opowiada rozmówca PAP. Opisuje, że osoby głuchonieme mogłyby wyjaśnić pracownikom banku jakąś kwestię językiem migowym, a system komputerowy szybko przełożyłby ten komunikat na tekst w języku polskim i przeczytałby go np. za pomocą syntezatora mowy. Tłumacz działałby też w drugą stronę - komputer przekształcałby mówiony język polski na język migowy, który byłby prezentowany na ekranie przez awatar - animowaną postać.

"Technologie, które są już dostępne na rynku, tylko w części spełniają oczekiwania osób niesłyszących. A skoro te osoby potrzebują lepszych możliwości, to dlaczego nie dać im szansy?" - pyta dr Gałka. Dodaje, że na świecie powstają już systemy do komunikacji z osobami niemymi. "Jednak w każdym kraju ludzie posługują się specyficznym dla danego języka systemem migowym. Język migowy polski jest inny niż migowy angielski. Języki różnią się np. gramatyką czy poszczególnymi znakami. Dla każdego języka trzeba więc stworzyć osobny system" - opowiada naukowiec. Zaznacza, że najbardziej rozwinięte systemy tłumaczące istnieją dla języka angielskiego w USA. "Dzięki projektowi będziemy gonić Zachód" - mówi.

Kierownik projektu wyjaśnia, że badania, które dotyczą języka czy komunikacji, zawsze wymagają wielu danych - w odpowiedni sposób opisanych i ustrukturyzowanych. Dlatego w projekcie konieczne będzie zgromadzenie dużej liczby nagrań języka migowego o odpowiednich parametrach technicznych. W ten sposób powstać ma coś w rodzaju wirtualnego słownika czy korpusu języka migowego. Dr Gałka zakłada, że słownik może być nie tylko ważny przy konstruowaniu wirtualnego tłumacza, ale może być cennym zasobem dla innych badaczy, np. językoznawców.

Jak przyznaje badacz, największym wyzwaniem dla jego zespołu może być opracowanie algorytmu, który pozwoli na pozyskiwanie i interpretację gestów migowych. Wyjaśnia, że komputer - analizując obraz np. z kamery - będzie musiał rozpoznać dany ruch niezależnie od tego, jakie będzie oświetlenie, ustawienie osoby względem kamery albo detektora ruchu. Poza tym znaki muszą być rozpoznawane niezależnie od tego, kto je wykonuje, "a przecież styl migania zmienia się w zależności od osoby" - przyznaje badacz.

Innym z wyzwań stojacych przed naukowcami będzie to, jak zachować wierne tłumaczenie z języka mówionego na polski język migowy. "Tłumacz będzie przecież musiał prawidłowo oddać intencje porozumiewających się osób" - komentuje specjalista z AGH.

Dr Gałka podkreśla, że efektem samego projektu, finansowanego przez NCBR, ma być know-how, a nie wytworzenie samego wirtualnego tłumacza. Badacz nie wyklucza jednak, że po zrealizowaniu projektu tłumacz w końcu trafi na rynek. Ekspert zaznacza, że w projekcie nie będzie budowana sztuczna inteligencja, która pozwoli porozumiewać się na wszystkie tematy. "Skupiamy się na metodach, które pozwolą na realizację tylko pewnych konkretnych tematów rozmów, np. tych, które pozwolą na załatwienie spraw w banku" - mówi dr Gałka, ale przyznaje, że zakres tematów może być jednak z czasem powiększany.

Prace zespołu dr. Gałki nie są pierwszymi w Polsce badaniami nad wirtualnym tłumaczem języka migowego. Np. kilkanaście lat temu na Politechnice Śląskiej w projekcie Thetos, pracowano nad tym, by animowana postać pokazywała gesty języka migowego tłumaczone z tekstu. Z kolei na Politechnice Rzeszowskiej badano możliwość zamiany języka gestów migowych na tekst w języku polskim.