当前位置:首页 > 新闻中心 > 学会新闻

中国中文信息学会《前沿技术讲习班》- 大模型系列专题 · 济南站

来源:中国中文信息学会发布时间:2023-09-08

讲习班介绍

为进一步普及最新大模型前沿动态,推动国内大模型技术进步,发展基础理论与应用,展示国内大模型训练方面的阶段性工作成果,中国中文信息学会《前沿技术讲习班》推出大模型系列专题,将于2023年9月23日-24日济南线下举办。讲习班以“大模型的构建训练方法与行业应用”为主题,邀请了来自首批国内开源大模型企业和一线国内大模型研究学者,系统讲述大模型构建方法和应用前景,为感兴趣的学者、学生和工程师提供系统学习和交流的机会,促进国内大模型的学术前沿发展和应用实践落地。

大模型系列讲习班预告

 昆明站 - 10月
 合肥站 - 11月

哈尔滨站 - 12月


讲习班信息

时间:2023年9月23日-24日

地点国家超级计算济南中心

地址:山东省济南市历城区经十东路28666号

注册参会:

http://reg.cipsc.org.cn/cipsatt40/index.html‍

讲习班官网

https://conference.cipsc.org.cn/cipsatt40/

日程安排

大模型的构建训练方法与行业应用

9月23日

09:00-12:00  ChatGLM:认知大模型及应用初探

特邀讲者:张鹏及团队(智谱华章)

14:00-17:00  大模型系统:迈向通用的人工智能

特邀讲者:刘知远及团队(清华大学)

17:10-18:10  济南超算大模型训练服务支撑保障体系建设分享

特邀讲者:王继彬(国家超级计算济南中心)


9月24日

09:00-12:00   大型语言模型的技术实现

特邀讲者:颜航及团队(上海人工智能实验室 )

14:00-15:30  医疗大模型的探索和实践

特邀讲者:王本友及团队(香港中文大学)

15:40-17:10  领域大模型的构建及实践

特邀讲者:高莘(山东大学)

特邀讲者




图片

张  鹏 /

智谱华章


报告题目:ChatGLM:认知大模型及应用初探

报告摘要:在实现通用人工智能的道路上,大模型是一个必经阶梯。2020年,GPT-3的出现让大模型进入“可用阶段”,把生成式AI带入全新的时代。本报告介绍了智谱AI研发的预训练框架研发的开源双语模型GLM-130B,以及基于GLM-130B打造的千亿基座的中英文对话模型 ChatGLM (chatglm.cn)和全球下载量超过400万的开源模型ChatGLM-6B,并介绍了ChatGLM在行业应用上的一些探索。

讲者简介:张鹏,北京智谱华章科技有限公司CEO,清华大学2018创新领军工程博士,毕业于清华大学计算机科学与技术系,研究领域包括知识图谱、大规模预训练模型等。作为主要研究人员参与GLM系列大模型、AMiner(https://aminer.cn)、XLORE(http://xlore.org)等项目的研发工作,在ICML、ISWC等顶级会议上发表10余篇文章。长期致力于知识和数据双轮驱动的人工智能框架实用化落地,在大规模预训练模型、语义大数据分析、智能问答、辅助决策等应用领域拥有丰富的实践经验。






图片

刘知远 /

清华大学


报告题目:大模型系统:迈向通用的人工智能

报告摘要:近年来以BERT、GPT为代表的预训练模型,使人工智能技术进入“预训练-微调”的全新范式,特别是最近ChatGPT引爆了全社会对大模型技术的关注。本报告重点介绍大模型与过去深度学习模型相比,在模型框架、微调适配以及推理计算等方面的重要特性,探讨大模型未来的研发应用范式。

讲者简介:刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为自然语言处理、基础模型。2011年获得清华大学博士学位,已在ACL、EMNLP、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文200余篇,Google Scholar统计引用超过3.3万次。曾获教育部自然科学一等奖(第2完成人)、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖(第2完成人)、中国中文信息学会汉王青年创新奖,入选国家青年人才项目、北京智源研究院青年科学家、2020-2022连续三年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。担任中文信息学会理事、社会媒体处理专委会副主任,期刊AI Open副主编,ACL、EMNLP、WWW、CIKM、COLING等国际著名会议领域主席





图片

王继彬 /

国家超级计算济南中心


报告题目:济南超算大模型训练服务支撑保障体系建设分享

报告摘要:济南超算围绕五大基础设施平台构筑了高性能计算、智能计算、云计算三位一体的多元算力池,提供超过60种算力服务。报告以大模型训练应用场景为例,介绍济南超算智能计算集群在基础设施资源供给、训练过程保障、一体化监管、流程化服务等方面介绍济南超算公共算力平台的阶段性工作成果,并报告了济南超算在保障大模型训练方面未来的规划。

讲者简介:王继彬,山东省计算中心(国家超级计算济南中心),研究员。主要从事虚拟资源调度、中间件技术、分布式存储系统架构、系统性能优化、存储虚拟化等领域的研究工作。承担或参与国家重点研发计划、山东省自然科学基金、山东省重点研发计划等多项省部级课题,发表国际期刊和会议SCI/EI论文十余篇。研发方面,相继推出了自主研发的泉云云计算平台,数据存储平台泉立方以及多个虚拟化应用平台。






图片

颜  航 /

上海人工智能实验室


报告题目:大型语言模型的技术实现

报告摘要:ChatGPT问世以来,由于其优异的泛化性,得到了广泛的关注。为了获得一个类似于ChatGPT一样拥有良好用户体验的大模型,需要首先获得一个性能优异的基座模型。本次报告将从基座模型的预训练数据讲起,再结合具体的预训练过程中会遇到的问题来讨论如何训练得到一个基座模型。


讲者简介:颜航,上海人工智能实验室青年科学家,博士毕业于复旦大学自然语言处理实验室,师从邱锡鹏教授。研究兴趣包括信息抽取、开源NLP工具建设、大规模预训练模型等。开源平台OpenLMLab主要贡献者,设计并开发了fastNLP、fitlog等开源工具,负责了浦江实验室InternLM大模型的训练相关工作。在ACL、TACL、EMNLP、NAACL等会议或杂志上发表了多篇论文,2022年获钱伟长中文信息处理科学技术奖一等奖(4/5)。




图片

王本友 /

香港中文大学(深圳)

报告题目:医疗大模型的探索和实践

报告摘要:大模型给自然语言处理带了巨大的改变,它在一些通用领域可以初步帮助用户提供有用的信息,并提升学习工作效率。但是它在垂直领域的表现仍然落后于领域专家,比如经验丰富的医生。为了构建专家水平的垂直领域大模型,其衍生出来的大量问题,包括从评估、训练、数据、监管、效率等各方面。这次报告将会以医疗领域的华佗GPT为依托,来阐述垂直领域大模型的挑战、实践、和未来。华佗GPT的访问链接见https://www.huatuogpt.cn/。华佗GPT的这些实践也可能对其他垂直领域也有很多借鉴意义。

讲者简介:王本友,香港中文大学(深圳)数据科学学院助理教授和医疗健康信息研究中心副主任、深圳市大数据研究院研究科学家。迄今为止,他曾获得了SIGIR 2017最佳论文提名奖、NAACL 2019最佳可解释NLP论文、NLPCC2022最佳论文、华为火花奖和欧盟玛丽居里奖学金。其领导的研究团队开发的大模型包括多语言大模型凤凰(支持中文)以及医疗健康垂直领域大模型华佗GPT。





图片

高  莘 /

山东大学

报告题目:领域大模型的构建及实践

报告摘要:领域大模型是指在特定的领域或行业中经过训练和优化的大语言模型。与通用语言模型相比,领域大模型更专注于某个特定领域的知识和技能,具备更高的领域专业性和实用性。在本次讲座中,将首先介绍目前大模型共性技术的发展情况。然后以司法领域为例讲解领域大模型构建的过程,包括基座的选型、预训练、数据集构建、微调、提示学习等,以及领域大模型实践应用的关键问题。最后,将总结领域大模型的构建方法并针对当前存在的若干问题给出相关思考。

讲者简介:高莘,山东大学担任助理教授,博士毕业于北京大学。主要研究方向为自然语言处理。已在领域国际顶级会议发表文章30余篇。获得了中国电子学会科学技术奖科技进步三等奖。目前任中国中文信息学会青年工作委员会委员、信息检索专委会通讯委员。近年来担任了若干顶级会议的领域主席和高级程序委员会委员。


会议组织


主办单位

中国中文信息学会青年工作委员会

承办单位

齐鲁工业大学(山东省科学院)

山东大学