科大生研翻譯手語App 與聽障者溝通無難度

20170829
東網電視
更多新聞短片
(左起)計算機科學及工程學系副教授麥鑑榮、學生翁偉超、黎家偉、梁銘方以手語表達「科技大學」。(受訪者提供)
手語是與聽障人士溝通的媒介之一,但要學習手語並非易事。科技大學工學院計算機科學及工程學系三位應屆畢業生,開發了一個可將中文句子翻譯成為手語句子的手機應用程式,打破一般手機App只能翻譯單字或單詞的局限,將失聰或弱聽人士的溝通帶到更高層次,對學習手語尤其有用。
這應用程式是黎家偉、翁偉超、梁銘方三位同學的畢業專題項目。黎家偉稱,開發這應用程式的最大挑戰之一,是手語的語法與中文的語法不同,例如手語中的形容詞、副詞、數目和發問詞一般置於名詞後面,而中文一般是置於名詞之前,他們的挑戰是要設計一個配合手語語法的句子拆解算法。在這基礎上,他們使用軟件進行錄像合成,將各手語片段整合,形成完整句子。
由於梁銘方懂得手語,他很自然就擔任手語錄像的主角,並在半年內攝錄了1700個手語字詞。為了使視像效果保持劃一化,梁銘方每次錄像都要穿同一件衣服,並保持同一髮型,最終大家對成果都非常滿意。
展望將來,三位同學認為有幾方面可以繼續改善,包括透過收集大量數據,以改善詞句拆解的水平。其次,他們認為在影像處理方面可以提升,使詞語與詞語之間的轉接更加順暢。長遠來說,可考慮使用電腦動畫取代真人錄像,以達到更一致的視覺效果。