“手语村”网游结合人工智能及手语理论　助用户学习手语

现时有不少手机应用程式或软件协助翻译手语，促进健听及听障人士沟通。香港中文大学早前与搜寻网站、日本财团（Nippon Foundation）及关西学院大学合作研发全球首个“手语村”网上游戏，有关系统结合人工智能及手语语言学理论，透过电脑镜头将系统已记录的手语及用户手语做比对，让用户学习手语，测试版本已约有8,500人使用。<br/><br/>中大手语及聋人研究中心副主任施婉萍表示，去年4月起，日本财团帮忙联系搜寻网站，而关西学院大学亦加入团队，开发手语自动翻译系统。其中搜寻网站运用多个模型，包括侦测肢体、面部及手部动作的模型，采集身体不同部位的语言特征，再利用由搜寻网站建立的“TensorFlow”的机器学习平台解读手语，建立出“手语村SignTown”网上游戏。<br/><br/>该中心助理电脑主任郑家耀表示，只需要一部备有摄像镜头的电脑就可以玩“手语村”游戏，现时有中文及日文手语版本，并有3个场景包括游览“手语村”、到餐厅点菜及入住酒店供选择。郑续指，每个场景有12条问题，用户作答时，系统都会教导用户做相关的手语，然后系统会透过镜头，分析及比对已储存的手语，以及用户的动作，从而得出用户做的手语是否正确。系统亦会询问用户是否正在做某一手语，选择正确或错误，亦可协助系统提升准确度。<br/><br/>施补充指，未来“手语村”将发展更多场景、手语词汇及语言，亦期望推出手语词典。