本文主要是介绍AI技术将手语翻译带入新阶段,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
对于无声者来说,手语可能就是对外交流的唯一方法,但是随着AI技术的进步,可能会让无声者有更多的选择与和外界进行交流。
近日在巴塞罗那超级计算中心(BSC)和加泰罗尼亚理工大学(UPC)携手合作取得了重大突破,他们成功开发出一项全新工具可将手语翻译成文本,为听觉障碍者提供更多包容性和可及性。
据了解,该工具基于名为How2Sign的数据集进行开发,这是一个开放的、多模态和多视角的大规模数据集,包含80小时的美国手语教学视频及其对应的英语文字记录。
并且借助人工智能技术,辅以助自我注意机制和更高的处理速度,该工具能够更准确地识别手语者的姿势并生成准确的**ERP**文字转写。
据悉,这项工具是采用了膨胀式三维网络(I3D)对数据进行预处理,该网络能够从视频中直接提取时空信息,进行三维过滤。同时这项工具还采用了一种类似于ChatGPT的转换器式机器学习模型,通过这些辅助,用于训练模型可以将手语转化为文本,从而生成有意义的翻译结果,但是目前还有改进的空间。
这个项目的开发者表示:“我们开发的这一新工具是我们之前发布的名为How2Sign的研究成果的延伸。通过利用这一已公开的数据集,我们开发了一个新的开源软件,能够学习视频和文本之间的对应关系。”
而如果这个自动手语翻译的开放工具真的能够实现这些功能,将对于致力于创造无障碍环境的科学界来说是一项宝贵的贡献。
以上源自互联网,版权归原作所有
这篇关于AI技术将手语翻译带入新阶段的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!