当前位置: 首页 > 新闻中心 > 讲座论坛 > 正文
2023年3月18日三场学术报告介绍语言大模型的前沿进展
Date:2023-03-16 16:46   Clicks:

时间:3月18日下午两点半

地点:新校区新珈楼B103教室

报告题目:语言大模型的通用能力分析及其拓展

报告人:张家俊研究员

报告人简介:张家俊,中国科学院自动化研究所研究员、博士生导师,主要研究方向为机器翻译和自然语言处理,获得国家优秀青年科学基金资助,入选中国科协首届青年人才托举工程、中国科学院青年创新促进会优秀会员和北京智源青年科学家。发表CCF-A/B类论文80余篇,出版学术专著2部、译著1部。获得中国中文信息学会钱伟长中文信息处理科学技术奖一等奖、青年创新奖一等奖和2020年北京市科学技术奖一等奖等。担任中国中文信息学会理事、青年工作委员会主任和机器翻译专委会副主任。担任ACL/EMNLP/COLING的(资深)领域主席,担任IEEE/ACM T-ASLP、ACM TALLIP和《自动化学报》等期刊的编委。

报告摘要:以ChatGPT为代表的语言大模型表现出强大的通用能力,可以理解用户的各种意图,可以完成若干任务。其通用性主要由基础模型、指令学习、提示学习和基于人类反馈的强化学习决定,但是大模型的通用性还是会受到训练数据类型、规模和质量的限制,难以实现面向任意场景的全面通用。在这个报告中,我将首先跟大家一起探讨语言大模型的通用性表现,然后介绍目前拓展语言大模型通用性的增强技术,最后简要分享我们在这方面的一点尝试和探索。

报告题目:大模型中的常识知识探测与萃取

报告人:陈玉博副研究员

报告人简介:陈玉博,中国科学院自动化研究所模式识别国家重点实验室副研究员,入选2020年第五届中国科协青年人才托举工程、2022年全球华人AI青年学者、2022年中国科学院青年创新促进会会员、2022北京智源人工智能青年科学家俱乐部,担任中国中文信息学会青年工作委员会秘书长、COLING 2022领域主席、Data Intelligence编委。研究方向为自然语言处理和知识图谱,在ACL、EMNLP、AAAI等国际重要会议和期刊发表学术论文40余篇,其中多篇论文入选Paper Digest最具影响力论文,曾获多次最佳论文奖(NLP-NABD 2016、CCKS 2017、CCL 2020、CCKS 2020),Google Scholar引用量3900余次。出版学术专著两部《知识图谱》、《知识图谱:算法与实践》,由人工智能学会推荐入选十三五国家重点图书出版规划教材,连续多年在中国科学院大学主讲《知识图谱》课程,2021年获得中国科学院大学优秀课程。主持国家自然科学基金面上项目、青年基金项目,参与国家自然科学基金重点项目、2030新一代人工智能重大项目、重点研发计划课题。主持研发的信息抽取和知识图谱构建系统多次获得国际/国内学术评测冠亚军。获2018年中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖,2019年度北京市科学技术进步奖一等奖。

  报告摘要:知识图谱是下一代人工智能的基础设施,是实现可解释人工智能的重要手段。然而,现有知识图谱大都以语言知识和世界知识为主,缺乏常识知识。常识知识对于AI对齐人类具有重要意义。基于大数据、大算力、大模型的大规模预训练语言模型中蕴含海量的知识,其中是否蕴含常识知识?如何将常识知识从中萃取出来?该报告首先介绍常识相关的基本概念,然后介绍常识知识探测与萃取的最新工作进展,最后介绍实践过程中的经验和体会。

报告题目:基于语言模型的一体化政治人物建模框架

报告人:魏忠钰副教授

报告人简介:魏忠钰,复旦大学大数据学院副教授,智能复杂体系实验室双聘研究员,博士生导师,复旦大学数据智能与社会计算实验室(Fudan DISC)负责人,香港中文大学博士,美国德州大学达拉斯分校博士后。现任中国中文信息学会情感计算专委会副秘书长,社交媒体处理专委会常务委员兼秘书,青年工作委员会执委会副主任。担任多个重要国际会议包括EMNLP、ACL的高级领域主席和组织委员会成员。主要研究领域包括自然语言处理,社会计算和多模态智能交互技术,在国内外相关领域高水平会议及期刊发表论文80余篇。曾获得2019年度中国中文信息学会社会媒体处理新锐奖,2020年度华为技术优秀成果奖,2021年上海市启明星计划,2022年中国计算机学会自然语言处理新锐学者奖。

报告摘要:计算政治学的一个核心研究课题是使用量化方法进行议员行为的刻画。当前议员的行为建模研究很大程度上依赖投票数据,学者们基于议员的历史投票结果对他们的政治立场进行学习和估计。基于投票数据的建模方法存在两大问题:第一,模型泛化能力弱,无法针对没有投票数据积累的议员进行建模;第二,模型可解释性差,没有途径获取议员行为背后的原因,无法捕捉其政治观点。针对这两个问题,讲者的研究团队探索了不同的语言模型驱动的政治人物建模方法。主要工作包括:(1)结合公开言论和投票行为的议员表示学习方法;(2)“领域适配-事件微调”的两阶段政治文本分析框架;(3)语言模型驱动的一体化政治人物建模框架。

邀请人:李晨亮教授、邹立新副教授