2021年第十六届全国人机语音通讯学术会议(National Conference on Man-Machine Speech Communication,NCMMSC2021)将于2021年10月15-18日在江苏徐州举行。本次会议由中国中文信息学会和中国计算机学会联合主办。

针对本次会议,由腾讯科技 ASR&OCR oteam联合清华大学电子工程系等单位共同发起围绕时下在工业界最为关注的三类媒体形式---长视频、短视频、直播场景进行比赛。

本次比赛由易到难,Task1将关注模型场景失配下长短视频及直播中汉语关键词的检测问题;Task2则扩展到Task1的多语种和多方言关键词场景;Task3会根据视频画面里的字幕信息和语音识别信息。共同打造SOTA的长、短视频、直播场景的字幕语音内容识别多模态工业级解决方案。

Task1

汉语长短视频直播语音关键词

Video Keyword Wakeup Competition, VKW

竞赛介绍

可自定义关键词唤醒能够在不使用全文ASR解码的前提下,快速检测出长短音视频和智能设备中的关键词(唤醒词),广泛应用在设备自定义解锁和唤醒、各类救护、火灾等事件报警、命令识别、语音内容的检索和分析等任务中。

Task1 长短视频可自定义关键词唤醒(Video Keyword Wakeup Competition)比赛旨在检验业界利用朗读数据等常规数据公司可获取的大规模数据构建任意自定义关键词检测系统的能力。提供少量可供微调的真实长短视频及直播数据,检验场景失配下自定义关键词检测系统的鲁棒性和泛化性。

赛道设置

  • 受限赛道

    只允许使用官方提供的1505小时普通话朗读数据及各50小时的长短视频、直播数据作为有监督语音训练数据,外部数据可使用开源发布的预训练模型及开源语言模型、网络爬取的文本等。可使用外部数据进行数据扩充和预训练,但不得使用外部数据的标注脚本。

  • 非受限赛道

    参赛队伍可使用可公开获取的标注数据、任意无标注数据进一步提升系统性能,但需要在最终提交系统说明里提供数据来源(如可使用http://www.openslr.org/中的开源数据并注明数据来源)。

指定数据

  • 训练数据

    1505小时普通话朗读数据
    由数据堂提供

  • 调参集

    长视频、短视频、直播场景各50小时标注数据供微调

  • 开发集

    长视频、短视频、直播场景各5小时。用于调整参数,选择特征等系统工作点优化

  • 测试集

    长视频、短视频、直播场景各20小时。用于评价提交系统,赛后可提供原始数据、标注及关键词列表

报名方式

  • 下载报名表,并填写相关信息,发送至报名邮箱:VKW@datatang.com

    邮件主题:【VKW-队伍名称】

    注:为保持比赛公平公正,比赛结果以队伍名为准,不公布具体参赛单位
  • 下载报名表

竞赛指导委员会

黄申

腾讯科技 ASR oteam

吕志强

腾讯科技 ASR oteam

张卫强

清华大学

谢磊

西北工业大学

王大亮

数据堂(北京)科技股份有限公司

注:排名不分先后

Task2

多语种多方言长短视频直播语音关键词

Low-resouce Video Keyword Wakeup Competition, LVKW

竞赛介绍

我国是一个多语言、多方言的国家,在长视频、短视频和直播场景中,下沉场景时语言的当地化现象非常明显,而通用的设备关键词唤醒往往只支持汉语。如何在多语言、多汉语方言场景下,唤醒出各场景中的自定义关键词,是本任务的研究方向。本任务主要包括蒙、藏、维、哈、朝、彝、壮等少数民族语言,西南、中原等各类官话,晋语、吴语、徽语、湘语、粤语、赣语、闽南语及客家话等汉语方言。

比赛详细信息稍后发布,敬请期待......

Task3

汉语长短视频直播字幕ASR&OCR

Video ASR OCR Competition, VAO

竞赛介绍

在长短视频、直播等视频场景中,通常会伴有已经制作好的视频字幕、人脸存在时的唇语等辅助信息。如何利用其他模态的辅助信息以提升ASR识别率,尤其是背景音乐、嘈杂噪声等低信噪比情况下,提升ASR的性能是本任务的关注点;反过来,虽然OCR比ASR识别效果更加准确,但OCR由于画面的复杂,冗余信息多(如标题、台标等),对于字幕部分的提取和识别也存在较大的困难。如何利用ASR等语音信息,指导OCR进行更好的输出,使得用户“看到”真正重要的口语内容信息,使得多模态内容文字识别率互为促进和提升,是本任务的研究方向。

比赛详细信息稍后发布,敬请期待......

反作弊声明

  • 参与者禁止提交多次报名,经发现将取消成绩并严肃处理。

  • 参与者禁止在指定考核技术能力的范围外利用规则漏洞或技术漏洞、额外数据等不良途径提高成绩排名,经发现将取消成绩并严肃处理。

关于比赛的详细信息,报名表,请参阅网站:https://datatang.com/VMR