“大模型+知识图谱”专题论坛由中国中文信息学会语言与知识计算专委会承办,共邀请5位专家学者做特邀报告,并举办题目为“知否知否 - 大模型到底有哪些知识?”专题研讨,由清华大学许斌教授主持。
清华大学李涓子教授的报告题目是“大模型时代下的知识:现状、挑战与思考”,报告提出,知识获取与应用是人类智能的核心组成部分。目前,大模型在人工智能领域取得了突破性进展,包括大规模参数化知识和通用智能的能力。李涓子教授通过介绍如何理解和评测大模型的知识能力,讨论大型模型在语言深度理解和知识应用方面面临的挑战,最终给出对大模型在提升知识能力技术途径上的思考。
清华大学黄民烈教授的报告题目是“大语言模型的超级对齐”,报告提出,随着GPT-4等大语言模型的智能水平的提升,通用人工智能也越来越接近。但“越智能越危险”,大语言模型的安全性研究变得越来越重要:偏见、歧视、隐私、滥用、伦理、价值观等各种安全性问题成为广泛关注的问题。黄民烈教授围绕大语言模型尤其是中文大语言模型、对话系统的安全性和超级对齐问题,阐述其在弱到强泛化(weak-to-strong generalization)、规模化监督(scalable oversight)、精确对齐、模型权重外插等方面的工作。
百川智能王炳宁博士的报告题目是“大语言模型的优化效率提升”,报告指出,当前大语言模型效果提升的最重要的原理是Scaling law,即不断扩展模型参数量,不断扩大训练数据量。然而,依然能够通过引入一些优化的技术和手段在相同模型尺寸、相同数据量的情况下不断提升模型的效果。该报告介绍了一些提升效率的预训练方案,从模型结构的优化,训练方案的优化,以及数据的优化三个方面对当前的语言模型效率提升做出总结。
中国科学院软件研究所林鸿宇副研究员的报告题目是“知识引导的大模型事实性幻觉消除”。该报告从幻觉检测和幻觉行为消除两个角度入手,探讨如何利用外部知识图谱信息,检测大模型生成过程中产生的幻觉,通过反馈学习帮助大模型避免幻觉行为,并通过知识验证进一步降低大模型生成事实性错误,从而提升大模型生成结果的可靠性。
东南大学吴天星副教授的报告题目是“大模型赋能知识图谱推理”,在大模型时代,如何利用富含文本语义的外部参数化知识支撑端到端统计推理与可解释统计推理是值得探索的研究方向,该报告介绍基于大模型的知识图谱推理前沿工作,从确定性知识图谱与不确定性知识图谱出发讨论相关难点及挑战。
论坛最后设置研讨环节,与会嘉宾就“大模型的“知识”是什么?大模型如何理解和掌握知识?如何改进大模型中的知识?知识图谱+大模型协作的最优策略是什么?”等话题展开深入交流,整个会场座无虚席,气氛活跃,观众与研究嘉宾积极互动,共同探讨知识图谱和大模型的研究与未来发展方向。
清华大学李涓子教授做题为《大模型时代下的知识:现状、挑战与思考》的报告
清华大学黄民烈教授做题为《大语言模型的超级对齐》的报告
百川智能王炳宁博士做题为《大语言模型的优化效率提升》的报告
中国科学院软件研究所林鸿宇副研究员做题为《知识引导的大模型事实性幻觉消除》的报告