当前位置:首页 > 学术活动

CCAC 2022评测网站汇总通知

来源:情感计算Affective Computing发布时间:2022-06-27

第二届中国情感计算大会(Chinese Conference on Affect Computing, CCAC 2022)将于2022年8月在江苏苏州召开。CCAC聚焦情感计算处理的前沿研究,为传播情感计算最新的学术和技术成果提供交流平台。中国情感计算大会每年举办一次,现已成为自然语言处理、社会计算领域的重要学术活动。第二届中国情感计算大会(CCAC 2022)由中国中文信息学会情感计算专委会(筹)主办,苏州大学承办。

本次大会继续组织情感计算相关技术评测。经过前期评测任务征集,评测委员会已确定3项评测任务,包括了群体情感识别、多模态、智慧论辩、情绪原因抽取等重要研究领域。评测已正式启动,具体评测细节可以关注各项评测任务的通知网站,欢迎广大研究者积极报名参与评测竞赛!

一、评测任务

任务一:第二届智慧论辩评测

评测通知网站:

http://www.fudan-disc.com/sharedtask/AIDebater22/index.html

任务简介

任务背景

论辩是人类智慧的一项重要技能,在诸多人类活动中承担着不可或缺的作用。计算论辩技术关注机器对人类论辩过程的理解和模仿,广泛应用于决策辅助、写作支持和逻辑审查等场景,于近年来逐渐成为人工智能研究的新兴重要分支。本届评测关注中、英文辩论赛场景下的论辩挖掘任务,鼓励参赛者使用计算论辩相关技术对辩论陈词中的论辩要点等成分做识别或生成,旨在推动计算论辩相关研究的发展,并试图为学界研究着与相关产业从业者提供良好的沟通交流平台。在本届大会中,我们将举办第二届智慧论辩评测项目。

任务介绍

本届智慧论辩评测比赛包含4个子任务,任务内容覆盖论点抽取、论据发现、交互论点对提取和论点生成。具体子任务包括

•任务1:论点抽取及立场分类  给定一个辩题和一个候选句子,参赛模型须判断当前句子是否为该辩题的论点,并同时判断该论点(如有)的立场为支持或反对。输出有三种标签:“1”表示该句子是论点且支持辩题,“-1”表示该句子是论点且反对辩题,“0”表示该句子不是论点。

–评价指标:macro F1

•任务2:论据发现  给定一个论点和一个候选句子,参赛模型须判断当前句子是否为支持当前论点的论据。我们也会提供辩题作为辅助参考。输出有两种标签:1表示是论据,0表示非论据。

–评价指标:论据类别上的F1。

•任务3:互动论点对识别  提供一对具有互动关系的正、反方单环节辩稿。针对一方的一个论点,从5个候选论点中选择出与给定论点有直接互动关系的一个。候选集由1个人工标注的互动论点,和同一辩稿中采样得到的4个无关论点所组成。一个论点可能包含1个或多个句子。

–评价指标:最高预测的平均准确度 (average accuracy of the top predictions,A) 和平均倒数排名 (average mean reciprocal rank,M)。

•任务4:论点生成  针对既定的辩题,由参赛模型自动生成贴合辩题的5个论点。

–评价指标:混淆度(Perplexity),BLUE,ROUGE

任务二:面向微博话题的群体情感识别

评测通知网站:

https://github.com/X1AOX1A/CCAC_2022_Task2/blob/main/README.md

任务简介

任务背景

微博等社交媒体已经是人们日常生活中不可分割的一部分,越来越多的互联网用户参与在微博上讨论热点新闻、分享自己的观点和看法、这位研究者们提供了一个庞大的可以获取流行话题、倾听公众针对热点事件意见的资源。但是,微博中与日俱增大量的信息与内容,大大超越了人们所能获取信息的极限,我们迫切需要一些手段辅助我们进行情感分析。之前现有的研究主要针对写作者的情感,较少有工作涉及到公众和群体对微博话题的反应情绪。本评测主要通过分析微博话题的简短描述(hashtag),预测公众可能产生的群体性反应情绪。

任务介绍

本任务旨在预测从在线平台用户评论中挖掘用户情感信息,可以体现大众对于热门话题的感受与情感取向。为体现本任务的时效性,我们选取了按时间排序前五条的评论文本。本任务的输入数据包含两部分:热门话题(hashtag)与前五条用户评论,输出为该话题下用户的情感取向,由三个表情标签表示。数据集中共包含24个表情标签,部分表情表情例如:'[Smile]', '[给力]', '[允悲]','[给力]', '[给你小心心]', 本次测试以多分类 macro F1 值作为评测指标。

任务三:面向电商客服领域的多模态对话情绪原因抽取

评测通知网站:

https://ccac2022ecemc.github.io/

任务简介:

任务背景

情绪原因抽取一直是自然语言处理领域研究的重点之一。在客服对话领域中,顾客和客服在线沟通,话语中不光包含了文本,还包含了大量图片信息。因此,理解消息所蕴含的重要信息往往需要多个模态协作才能完成。基于自然语言处理和计算机视觉相关技术自动抽取产生情绪的原因话语,可以帮助客服及时了解顾客情绪波动的原因,帮助AI客服知晓因果逻辑,从而做出更有针对性的回复,这个任务具有重大的社会价值。尽管前期的情绪原因抽取技术已经取得了不错的进展,但如何在多模态对话领域中利用非文本信息,仍然是一个值得研究的问题。

任务介绍

多模态情绪原因抽取任务旨在识别多模态对话中产生某个情绪的原因话语,输入是一段对话和每轮话语的情绪,输出是该段对话诱发情绪的原因话语所在位置。在本次评测中,我们将多模态对话按照其蕴含的情绪分为以下七个类别之一:生气(Anger)、害怕(Fear)、沮丧(Frustration)、开心(Happy)、伤心(Sad)、惊讶(Surprise),中性(Neutral)。值得注意的是在电商客服领域,中性话语占据绝大多数,包含情绪的话语通常也是以“生气”为主,但是这些少量的、集中的带有情绪的话语及其原因正是客服中心重点关注的内容,进一步的分析和反馈可以为电商平台带来不错的口碑。本次测试以准确率Acc值作为评测指标。


CCAC 2022评测主席:

           王素格,山西大学     

           赵妍妍,哈尔滨工业大学