有数据显现,在美国,美国手语(American Sign Languge)是第三大广泛运用的言语,但使用美国手语数据开发的AI东西的数量却远远少于其他常用言语的东西数量。这也是Signs途径诞生的原因。
“大多数聋儿爸爸妈妈的听力都是正常的。为聋儿的共同生活的亲属供给像Signs这样的快捷东西,让他们尽早开端有用学习手语,能够在必定程度上协助他们与6至8个月大的儿童树立有用的交流途径。”美国聋儿协会履行董事Cheri Dowling说。“并且,因为知道专业的美国手语教师现已验证了途径上的一切词汇,用户大可对自己所学内容的质量定心。”据了解,现在途径上有100个手语词汇。
官方演示视频中,手语学习者能够仿照3D虚拟形象展现的手势动作教程进行学习,学习者的动作会显现在屏幕右半部分,途径会用AI东西实时接纳学习者手势的反应,比方辨认学习者手掌地点的方位。
为了更好地指引初学者,学习者的视频框中会显现手指的方位、手势动作轨道,以及手应该放的方位。比方在学习Hello的手语时,用户跟着数字人的提示,先打开手掌,向手掌方向曲折大拇指,把自己的手放在蓝色手掌的方位,学习者跟着蓝色手掌的轨道向远离身体的方向小幅度轻挥手掌。当两个手掌匹配上时,会出现匹配成功的音效。数字人通常会要求学习者操练两至三遍。
尽管Signs现在首要重视每个手势的动作和手指方位,但手语学习还需求结合面部表情和头部动作来传达意义。Signs团队正在探究如安在之后的版别中追寻、整合这些非手势信号。
团队还在研讨怎么样在Signs中出现其他细微差别,如区域差异和俚语,以丰厚手语学习数据库,此外还与罗彻斯特理工学院无妨碍和包容性研讨中心的研讨人员协作,评价和进一步改进Signs途径的用户体会。
英伟达开发Signs的意图不单单是教手语,还包含搜集更多的手语数据。任何水平的手语学习者都能够终究靠用手势表达特定词语来扩大数据集。Record Signs页面会显现途径需求搜集数据的相关词汇,用户可录制自己的手语视频并上传。
英伟达的方针是将数据集扩大到40万个视频片段和1000个手语单词,并由流利的手语用户和翻译人员做验证,以保证每个手语的准确性,然后生成高质量的视觉词典和教育东西。
英伟达团队方案使用该数据集进一步开发AI应用程序,以打破聋人和听障人士之间的交流妨碍。
这些数据资源将于本年晚些时候向大众敞开,用于构建易于拜访的技能,包含AI agents、数字人类应用程序和视频会议东西,还能用于增强Signs途径和其他手语学习途径。