通知公告

>>返回目录

[评测邀请函]全国机器翻译研讨会机器翻译评测(CWMT2017)
2017-03-20

评测主页: http://nlp.nju.edu.cn/cwmt2017/evaluation.html

第十三届全国机器翻译研讨会(CWMT 2017)将于2017年9月27日至29日在中国大连举行。根据惯例,本次研讨会将继续组织统一的机器翻译评测,欢迎各位机器翻译的研发单位报名参加!

CWMT 2017机器翻译评测方案与上届评测(CWMT 2015)相比有如下变化:

1、汉英、英汉新闻领域的评测项目,由CWMT与WMT2017合作组织,欢迎WMT汉英、英汉项目的参评单位同时向CWMT提交系统结果、评测报告,并参加CWMT进行会议交流;

2、新增日汉专利领域的评测项目,由CWMT与北京语智云帆科技有限公司联合组织,希望能以该项目作为起点,加强科研单位与产业界的合作和联系;

3、本次评测不再设置统一发放数据的时间,各参评单位报名之后即可获取数据并进行系统训练,请有意向参与的单位尽快报名;

4、此外,本次评测暂停双盲评测(Double Blind Evaluation)项目,对其他评测项目评测组织方也不再提供评测项目的“基线系统(Baseline System)”及相应的关键步骤中间结果文件。

希望本次评测能够促进国内外科研单位、产业界相关单位之间的学术交流和联系,共同推动机器翻译研究和技术的发展。

本次评测的组织信息如下(三个以上的并列项以汉语拼音为序):

评测主办机构:

中国中文信息学会

评测组织单位:

南京大学

中国科学院计算技术研究所

评测资源提供单位:

北京大学

北京语智云帆科技有限公司

点通数据有限公司

东北大学

哈尔滨工业大学

南京大学

内蒙古大学

青海师范大学

西北民族大学

西藏大学

厦门大学

新疆大学

中国科学院合肥智能机械研究所

中国科学院计算技术研究所

中国科学院新疆理化技术研究所

中国科学院自动化研究所

评测委员会主席:

黄书剑(南京大学)

评测委员会委员:

艾山·吾买尔(新疆大学)

魏永鹏(北京语智云帆科技有限公司)

肖 桐(东北大学)

杨雅婷(中国科学院新疆理化技术研究所)

伊力亚尔·加尔木哈买提(南京大学)

张家俊(中国科学院自动化研究所)

赵红梅(中国科学院计算技术研究所)

评测项目

本次评测包含6个评测项目,我们将为各个评测项目的参评单位提供相应的训练语料和开发语料。具体项目设置如表1所示。

表1 CWMT 2017 评测项目表

序号 项目代号 评测项目名称 语种 领域
1 CE 汉英新闻领域机器翻译 汉语à英语 新闻领域
2 EC 英汉新闻领域机器翻译 英语à汉语 新闻领域
3 MC 蒙汉日常用语机器翻译 蒙古语à汉语 日常用语
4 TC 藏汉政府文献机器翻译 藏语à汉语 政府文献
5 UC 维汉新闻领域机器翻译 维吾尔语à汉语 新闻领域
6 JC 日汉专利领域机器翻译 日语à汉语 专利领域

对于每个评测项目,参评单位可以自由选择所采用的机器翻译技术(如:基于规则的机器翻译技术、基于实例的机器翻译技术、统计机器翻译技术及神经网络机器翻译技术等)。参评单位也可以使用系统融合技术,但在系统描述中必须做出明确说明,并在技术报告中说明进行系统融合的各个单系统的性能。此处,系统融合技术指使用两个及两个以上单系统的翻译结果进行字、词、短语、句子级别的重构或选择的技术。没有明确产生两个或两个以上单系统翻译结果的技术,如统计机器翻译中的协同解码、神经网络机器翻译的输出层ensemble、单个系统结果的重排序等,本次评测不认定为系统融合技术。评测组织方在发布评测结果时,将对使用系统融合技术的系统进行标注说明。

 
  友情链接