科大讯飞助力沟通无障碍
“北京明天的天气如何?”“速度滑冰女子1000米比赛的场地在哪儿?”冬奥虚拟志愿者“爱加”不仅能进行“面对面”的冬奥赛事、赛程实时互动交流,还能陪你玩一把冬奥知识游戏大PK,周边交通、文化、旅游等咨询问答更不在话下。
这背后是科大讯飞提供的语音识别、语音合成、机器翻译和自动问答等技术能力支撑。
赛事成绩多语种呈现,跨国界交流无障碍,让视障人士“听见”文字,让听障人士“看见”文字……作为北京冬奥会和冬残奥会官方自动语音转换与翻译独家供应商,科大讯飞为北京冬奥会提供自动翻译和相关的多语种语音转换、语音识别以及语音合成等硬核技术,用技术说话,助力实现赛场内外的沟通交流无障碍。
据介绍,早在2019年,科大讯飞就组建了北京冬奥会和冬残奥会示范应用专项团队,借助先进的机器翻译和多语言语音转换技术,围绕“人和人之间沟通无障碍、人和组织之间沟通无障碍、人和赛事之间沟通无障碍”三大方向,加速应用场景落地。
2年多来,科大讯飞先后研发了面向冬奥场景的多语种智能语音识别与合成、具有冬奥特征的多语种机器翻译和基于交互问答的冬奥多语种信息获取及交互等核心技术,构建了面向冬奥会场景的语音及语言服务平台,提供语音识别、语音合成、机器翻译、自动问答等技术能力,支撑冬奥虚拟志愿者、便携式终端设备、赛事多媒体办公和信息发布系统等产品应用。
为实现“人和人之间沟通无障碍”,科大讯飞的双屏翻译机可支持60个语种的在线语音翻译、16个语种的语音离线翻译、中英16个垂直行业的翻译,翻译效果好、响应时间快、操作便捷自然。特别是针对冬奥会使用场景,加入了数十万专业词汇以及行业术语,覆盖各类体育运动和裁判用语,可有效满足各类人群的跨语言沟通需求。
为保障“人和组织之间沟通无障碍”,科大讯飞面向冬奥办公与信息发布应用场景,基于中英文语音转写及翻译核心技术,推出听见转写系统,支持现场上屏发布、媒体采访等,实现及时的新闻稿发布,中英文整体转写准确率可以做到97%以上。
上海证券报记者采访了解到,由于自动语音转换与翻译涉及技术众多,难度和挑战非常大,科大讯飞在为赛事提供技术支持的过程中,也遇到了不少难点。
在多语种语音语言技术研发领域,由于涉及60多个语种的语音识别合成翻译等技术研发,除了中英文之外,针对其他语种(比如瑞典语、波兰语等)语料比较少的问题,通过源头核心技术创新,在端到端建模和无监督、弱监督训练方面取得重大突破。例如在多语种语音识别方面,100小时有监督数据加上大量无标签语音和文本数据可以达到1万小时有监督训练的效果。这项技术也在OpenASR国际低资源多语种语音识别挑战赛的15个语种受限赛道和7个语种非受限赛道系统,全部取得第一名的成绩。
在多语种自动问答中,融合了数字人生成、语音识别、语音合成、自然语言理解等多项技术,并结合FAQ问答、文档集合问答、知识库问答和基于文本蕴含识别的多源答案验证等技术进行知识库构建,最终实现人们可以和冬奥虚拟志愿者“爱加”用6种语言自由互动交流。
越过语言的边界,打破时间的极限,科大讯飞努力用技术冲出沟通障碍的重围,让文字可以被听见,声音可以被看见。站在冬奥会赛场上,科大讯飞在用技术为世界温暖赋能,共享冰雪盛会。