IVE生創手機翻譯APP 手語變文字助聽障者與人溝通

2021年05月17日 02:45
東網電視
更多新聞短片
溫子軒(右)與同學設計「SignChat」的手機App。(受訪者提供)
為促進健聽及聽障人士溝通,香港專業教育學院(IVE)軟件工程高級文憑畢業生溫子軒及同學,設計了一個名為「SignChat」的手語翻譯應用程式,透過人工智能及深度學習進行分析及訓練,讓系統學習手語,並將手語轉化成有意思及合邏輯的句子。團隊期望系統在年底可認出逾100個詞語,給予有需要人士試用。
溫子軒曾在小學時接觸過手語,亦有參加過手語合唱團,一直覺得手語十分有趣,並了解聽障人士的需要,因此他與2名同學構思了畢業作品「SignChat」的手機App,當聽障人士透過手機鏡頭做手語,對方就可在螢幕看到相關的翻譯字句。
「SignChat」主要透過人工智能科技將手語實時翻譯,加上利用深度學習及AI訓練,學習及辨識手語的意思。手機App亦利用立體影像追蹤技術,辨識雙手的動作,包括檢測手指、手掌及手腕等20個檢測點,配合表情及口形分析,分辨手語。
由於手語的文法與口語或有所不同,因此手機App會運用自然語言處理技術,將不同單字組合成合理的句子,例如將「早」及「食」的手語組成,自動演算成「早餐」。現時手機App可辨認約50個簡單詞語及句子,IVE團隊期望於今年內可豐富手語資料庫,增加辨識的字詞達100個,日後可廣泛應用。