「手語村」網遊結合人工智能及手語理論　助用戶學習手語

現時有不少手機應用程式或軟件協助翻譯手語，促進健聽及聽障人士溝通。香港中文大學早前與搜尋網站、日本財團（Nippon Foundation）及關西學院大學合作研發全球首個「手語村」網上遊戲，有關系統結合人工智能及手語語言學理論，透過電腦鏡頭將系統已記錄的手語及用戶手語做比對，讓用戶學習手語，測試版本已約有8,500人使用。

中大手語及聾人研究中心副主任施婉萍表示，去年4月起，日本財團幫忙聯繫搜尋網站，而關西學院大學亦加入團隊，開發手語自動翻譯系統。其中搜尋網站運用多個模型，包括偵測肢體、面部及手部動作的模型，採集身體不同部位的語言特徵，再利用由搜尋網站建立的「TensorFlow」的機器學習平台解讀手語，建立出「手語村SignTown」網上遊戲。

該中心助理電腦主任鄭家耀表示，只需要一部備有攝像鏡頭的電腦就可以玩「手語村」遊戲，現時有中文及日文手語版本，並有3個場景包括遊覽「手語村」、到餐廳點菜及入住酒店供選擇。鄭續指，每個場景有12條問題，用戶作答時，系統都會教導用戶做相關的手語，然後系統會透過鏡頭，分析及比對已儲存的手語，以及用戶的動作，從而得出用戶做的手語是否正確。系統亦會詢問用戶是否正在做某一手語，選擇正確或錯誤，亦可協助系統提升準確度。

施補充指，未來「手語村」將發展更多場景、手語詞彙及語言，亦期望推出手語詞典。