“中国队,率先冲过终点!”
2月5日晚短道速滑混合团体接力决赛后,腾讯3d手语数智人“聆语”,用手语表达了见证中国队获得冠军的激动心情。
腾讯3d手语数智人“聆语”作为央视频ai手语翻译官,为这场比赛提供了手语翻译解说服务,见证了中国队在本届赛事中首枚金牌的诞生,让处于无声世界中的特殊人群也能感受到中国举办冰雪赛事的盛况,进一步提升了听障人士的观赛体验。
腾讯3d手语数智人“聆语”由腾讯云小微联合pcg ai等技术团队共同打造,整合多模态交互技术、3d数字人建模、机器翻译、语音识别和自然语言理解等技术,让“聆语”的手语表达能力接近真人。腾讯自主研发了一套可视化动作编辑平台,为更专业的手语老师提供了友好的工具平台,可以让手语老师高效率的对全量手语动作进行精修。截至目前,腾讯3d手语数智人“聆语”词汇和语句覆盖量超过160万,并针对体育赛事做了大量定向优化,手语可懂度90%以上,技术水准行业领先。
在赛事手语解说中,基于《国家通用手语词典》规范,“聆语”首先通过健听人语言与听障者手语的机器翻译能力,将比赛解说内容低延迟生成高准确率的手语语言表征,再通过腾讯多模态端到端生成模型,进行联合建模及预测生成高准确率的动作、表情、唇动等序列,实现自然专业、易懂度高的手语效果。“聆语”的外观,依托腾讯领先的3d光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等技术,形象高度还原真人发肤,动作也更加自然生动;在信息准确率方面,“聆语”可以快速学习时下的新词热词,还可以快速完成各种行业、业务场景和相关知识的学习,提升翻译准确性。
《“十四五”残疾人保障和发展规划》中提出要加快发展信息无障碍,智能化服务要适应残疾人需求,智能工具应当便于残疾人日常生活使用。据全国第二次残疾人抽样调查数据,中国有2780万听障人士,手语是这些听障人士之间相互交流思想、获取外界信息的第一语言。但由于手语表达语序和汉语不同、需要结合表情和嘴部动作辅助理解,如果省略词汇不当、新词热词无法表达等原因,会对手语播报可懂度产生很大影响。ai手语数智人主播,希望通过建立健听人语言体系、逼真的画面语言、连贯自然的动作和新词热词快速适配,提升ai手语表达的可懂度。
腾讯云小微在ai交互智能领域,不断推动技术发展和产业应用落地,让数智人成为很多行业的数字助手,辅助人类提供更加高效、精准的服务。在新闻传媒领域,在2021年10月,广电总局在《广播电视和网络视听“十四五”科技发展规划》中也首次明确指出,要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产,创新节目形态,提高制播效率和智能化水平。未来,腾讯3d手语数智人“聆语”,也将在更多场景提供服务,助力实现更好的无障碍信息传播环境。
雷峰网(公众号:雷峰网)