注册


在线注册现已开放:http://123.57.230.127/att1/

注册费:(含资料费和午餐费)

早注册费(6月20日前):

中国中文信息学会会员:2天1500元,4天2800元

非会员:2天1800元,4天3200元

晚注册费(6月20日后)

2天2000元,4天3800元


讲习班简介


深度学习研究如何通过监督学习、非监督学习、增强学习等手段,从大规模数据集中挖掘其内在结构,产生分布式表示,建立有效的多层神经网络。深度学习是人工智能领域的前沿热点,已在自然语言处理、计算机视觉、语音识别、计算机围棋等任务取得了令人瞩目的成绩,获得了学术界和工业界的广泛关注。

为进一步普及深度学习知识、促进自然语言处理技术发展、繁荣深度学习理论研究和工程开发,中国中文信息学会学术工作专委会定于2016年7月2日-5日,在北京语言大学举办中国中文信息学会前沿技术讲习班(CIPS ATT),邀请来自研究第一线的知名青年专家学者系统讲述面向自然语言处理的深度学习基础知识、表示学习、网络模型和编程实践,为感兴趣的学者、学生和工程师提供一个四天的学习交流机会,快速了解有关的基本概念、研究内容、发展趋势、算法实现和开源工具。

本次讲习班包括两期共四天的学习内容,每天上午介绍理论知识,下午介绍算法实践。第一期讲授神经网络与表示学习,第一天的内容是深度学习基础,包括神经网络、BP算法、神经网络的学习和优化等;第二天的内容是表示学习,主要是词、短语、句子、知识图谱等各种粒度的embedding。第二期讲授面向自然语言处理的神经网络模型,第一天介绍卷积神经网络和递归神经网络;第二天介绍序列模型,包括循环神经网络、长短时记忆网络等。学员需自备笔记本电脑,并提前配置python,tensorflow等环境(参看https://www.tensorflow.org)。


特邀讲者


本次讲习班邀请了在自然语言处理领域较早开展深度学习研究并取得众多成果的几位青年学者讲授深度学习理论知识,并邀请他们所在团队的优秀博士生讲述算法实践,以保证授课的系统性和连贯性。按授课顺序,他们包括:

报告题目:深度学习基础

报告人: 车万翔(哈尔滨工业大学)

个人主页:http://ir.hit.edu.cn/~car

个人介绍:

车万翔博士,哈尔滨工业大学计算机学院副教授,博士生导师,斯坦福大学访问学者,主要研究领域为自然语言处理。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文40于篇,其中AAAI 2013年的文章获得了Outstanding Paper Honorable Mention奖,出版教材 2 部,译著 2 部。目前承担国家自然科学基金、973等多项科研项目。负责研发的语言技术平台(LTP)已被600余家单位共享,有用户6,000余人,并授权给百度、腾讯、华为等公司使用。2009年,获CoNLL国际多语种句法和语义分析评测中第一名。2015年,获Google Focused Research Award;2012年,获黑龙江省技术发明奖二等奖;2010年获钱伟长中文信息处理科学技术奖一等奖、首届汉王青年创新奖等多项奖励。


报告题目:深度学习基础算法实践

报告人: 唐都钰(哈尔滨工业大学)

个人主页: http://ir.hit.edu.cn/~dytang

个人介绍:

唐都钰,哈尔滨工业大学博士生,研究方向为基于表示学习的文本情感分析。在IEEE TKDE、IEEE TASLP、ACL、EMNLP、COLING、IJCAI共发表论文8篇,参加2014年国际评测SemEval中的Twitter情感分类任务,在45支国际参赛队伍中取得第2名。曾获2014年百度奖学金,2015年IBM全球博士英才计划奖。


报告题目:表示学习

报告人: 刘康(中科院自动化所)

个人主页: http://www.nlpr.ia.ac.cn/cip/~liukang

个人介绍:

刘康博士,中科院自动化所模式识别国家重点实验室副研究员,中国中文信息学会青年工作委员会执行委员。研究领域包括信息抽取、网络挖掘、问答系统等,同时也涉及模式识别与机器学习方面的基础研究。在自然语言处理、知识工程等领域国际重要会议和期刊发表论文三十余篇(如TKDE、ACL、IJCAI、EMNLP、COLING、CIKM等),曾获KDD CUP 2011 Track2 全球亚军,COLING 2014最佳论文奖,首届“CCF-腾讯犀牛鸟基金卓越奖”、2014年度中国中文信息学会“钱伟长中文信息处理科学技术奖-汉王青年创新一等奖”、2015 Google Focused Research Award等。


报告题目:表示学习算法实践

报告人: 何世柱(中科院自动化所)

个人介绍:

何世柱,中科院自动化所博士生。主要研究领域包括问答系统,自然语言处理等。在EMNLP、CIKM等自然语言处理和知识工程领域国际重要会议和期刊发表多篇论文。


报告题目:卷积和递归神经网络

报告人: 邱锡鹏(复旦大学)

个人主页: http://nlp.fudan.edu.cn/xpqiu

个人介绍:

邱锡鹏博士,复旦大学计算机科学技术学院副教授,中国中文信息学会青年工作委员会委员,中国人工智能学会青年工作委员会常务委员。主要研究领域包括统计机器学习和自然语言处理等,并且在上述领域的顶级期刊、会议上发表过30余篇论文。开发了开源中文自然语言处理工具FudanNLP,目前已被国内外数十家科研单位以及数百家企业使用。2015年入选首届中国科协人才工程。


报告题目:卷积和递归神经网络算法实践

报告人: 刘鹏飞(复旦大学)

个人介绍:

刘鹏飞,复旦大学计算机学院博士生。主要研究领域为自然语言处理中的表示学习,情感分析,多任务学习。读博期间,在人工智能和自然语言处理国际会议IJCAI, ACL, EMNLP上发表论文多篇。


报告题目:序列模型

报告人: 刘知远(清华大学)

个人主页: http://nlp.csai.tsinghua.edu.cn/~lzy

个人介绍:

刘知远博士,清华大学计算机系助理研究员。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位,已在自然语言处理等领域的著名国际期刊和会议发表相关论文50余篇。曾获清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文、清华大学优秀博士后等称号。


报告题目:序列模型算法实践

报告人: 林衍凯(清华大学)

个人主页: http://nlp.csai.tsinghua.edu.cn/~lyk

个人介绍:

林衍凯,清华大学计算机系博士生,主要研究方向为表示学习、知识图谱,已在人工智能、自然语言处理等领域的著名国际会议IJCAI,AAAI,ACL, EMNLP发表相关论文多篇。


日程安排


第一期:神经网络与表示学习

7月2日

08:30-09:00

开幕式,合影

第一讲:深度学习基础

车万翔,哈尔滨工业大学

09:00-10:20

第一节 神经网络与BP算法

机器学习与深度学习简介;神经网络与反向传播算法

10:40-12:00

第二节 神经网络的学习和优化

如何训练更好的神经网络:交叉熵损失函数、优化算法、正则化与超参数选择

12:00-14:00

午餐,午间休息

第二讲:深度学习基础算法实践

唐都钰,哈尔滨工业大学

14:00-15:20

第一节 神经网络与BP算法实践

初识tensorflow;线性回归;对数几率回归;单层神经网络;

15:40-17:00

第二节 神经网络的学习和优化实践

多层神经网络;神经网络优化实践;文本情感分类

7月3日

第三讲:表示学习

刘康,中科院自动化所

09:00-10:20

第一节 词表示学习

词向量基础;基于神经网络的词向量学习方法:NNLM, Log-bilinear, CBOW, Skip-gram, C&W, Glove;词向量应用以及如何训练得到一组好的词向量

10:40-12:00

第二节 知识图谱表示学习

知识图谱基础;基于张量分解的表示学习方法:RESCAL,基于映射的表示学习方法:TransE和其他扩展方法;知识图谱与文本联合表示学习;建模知识图谱中的路径和逻辑规则

12:00-14:00

午餐,午间休息

第四讲:表示学习算法实践

何世柱,中科院自动化所

14:00-15:20

第一节 词表示学习实践

神经语言模型的学习;基于预测的模型:word2vec;基于计数的模型:glove

15:40-17:00

第二节 知识图谱表示学习实践

知识图谱表示学习评价方法;基于张量分解的方法:RESCAL;基于映射的方法:TransE


第二期:面向自然语言处理的神经网络模型

7月4日

第一讲:卷积和递归神经网络

邱锡鹏,复旦大学

09:00-10:20

第一节 卷积神经网络

一维卷积;二维卷积;卷积层;子采样层;卷积神经网络示例;应用以及可视化

10:40-12:00

第二节 卷积神经网络&递归神经网络

面向自然语言处理的卷积神经网络;递归语义组合;语义组合函数;递归神经网络及其改进

12:00-14:00

午餐,午间休息

第二讲:卷积和递归神经网络算法实践

刘鹏飞,复旦大学

14:00-15:20

第一节 卷积神经网络实践

一维卷积;二维卷积;基于卷积网的句子建模的相关实验

15:40-17:00

第二节 递归神经网络实践

训练目标函数;合成函数;拓扑结构;基于情感分析的实验和可视化

7月5日

第三讲:序列模型

刘知远,清华大学

09:00-10:20

第一节 循环神经网络

循环神经网络(RNN)原理;Gated Recurrent Unit (GRU)单元;

10:40-12:00

第二节 循环神经网络扩展

长短时记忆(LSTM)模型;双向RNN;Selective Attention机制;RNN应用介绍:机器翻译、文档摘要、情感分类

12:00-14:00

午餐,午间休息

第四讲:序列模型算法实践

林衍凯,清华大学

14:00-15:20

第一节 循环神经网络实践

循环神经网络(RNN)实践;Gated Recurrent Unit (GRU)单元实践;

15:40-17:00

第二节 循环神经网络扩展实践

长短时记忆(LSTM)模型实践;RNN应用实践:机器翻译、文档摘要、情感分类

17:00-17:30

结业仪式


组织信息


大会主席:

  • 马少平 清华大学
  • 孙 乐 中国科学院软件研究所

学术主席:

黄萱菁,复旦大学教授,博士生导师,中国中文信息学会常务理事、社会媒体处理专委会副主任,《中文信息学报》编委,主要从事自然语言处理与信息检索研究,已在自然语言处理、信息检索、人工智能、机器学习等领域的权威国际期刊和会议上发表学术论文数十篇。

王斌,中国科学院信息工程研究所研究员,博士生导师,中国中文信息学会理事,《中文信息学报》编委,主要从事信息检索与自然语言处理相关的研究和系统研制,发表及合作发表论文百余篇,获得国家科技进步二等奖和北京市科学技术二等奖各一项,领导开发的多个系统在实际中得到应用。

组织委员会主席:

  • 杨尔弘 北京语言大学