特邀报告, 智能教育前沿论坛, 华东师范大学,上海
自然语言通常指人类的语言，是思维逻辑的载体，交流沟通的方式，也是传承文明的手段。对自然语言的处理是人工智能的重要研究内容，被称为人工智能皇冠上的明珠。自然语言处理必不可少的基础步骤是语言表示学习，其目的是构建自然语言的形式化或数学描述，以便在计算机中表示自然语言，并能让计算机程序进行自动处理。早期的语言表示方法主要采用符号化的离散表示。近年来，深度神经网络广泛应用于自然语言处理，不仅在文本分类、序列标注、机器翻译和自动问答等许多任务中取得了超越传统统计方法的性能，而且能以端到端的方式进行训练，避免了繁琐的特征工程。报告的第一部分将介绍自然语言处理的基本任务、应用领域、研究历史和技术发展趋势；第二部分将从词语、短语、句子和句对等粒度介绍基于神经网络的语言表示学习方法，阐述如何将语言的潜在语法或语义特征分布式地存储在一组神经元中，用稠密、低维、连续的向量来表示，并从模型、学习等层面讨论神经语言表示学习的近期研究趋势。
Invited Talk, 2022年中国多媒体大会, 贵阳，中国
机器学习和深度学习的可解释性指的是以受众可理解的，直截了当的方式解释模型预测值的程度。近年来，深度学习已经在自然语言处理中取得成功应用，大幅度提升了各种任务的性能，但由于其内在复杂性，可理解性和可解释性不够令人满意，也妨碍了深度学习方法的进一步推广。该报告首先介绍什么是可解释性分析，自然语言处理中有哪些可解释性分析任务，可解释性分析的目的，然后从理解模型部件的功能属性、解释模型预测的行为、模型诊断三个方面介绍可解释性分析在自然语言处理领域的发展现状，最后讨论了未来的研究趋势。
Invited Talk, Workshop on Dynamic Neural Networks, International Conference on Machine Learning, Baltimore, USA
Recent years have witnessed the great success of large-scale pre-trained language models. However, performing the entire language model for each sample can be computationally uneconomical. Hence, dynamic networks are attracting a lot of attention in the NLP community, which can adapt their structures or parameters to the input samples during inference. In contrast to static language models, dynamic ones enjoy favorable properties such as efficiency, adaptiveness, accuracy, etc. In this talk, I will review recent advances in dynamic networks in NLP and discuss the prospects and challenges of applying dynamic structure to pre-trained language models.
Invited talk, 北京智源大会自然语言处理论坛, 北京, 中国
信息提取主要包括命名实体识别及关系提取两大主要任务，旨在自动地从海量非结构化文本中抽取出关键信息，从而有效地支撑知识图谱构建和智能问答等下游任务。在深度学习时代，由于神经网络，特别是预训练模型已经能自动地提取高层语义特征，人们把更多的精力关注在如何构建预训练任务实现更完备的语义知识嵌入，以及如何高效使用这样的模型。然而，深度学习模型自动提取特征难以避免捷径学习问题，导致现实应用场景下的鲁棒性缺陷，对信息提取的下游应用带来了一些隐藏的危险，在低资源环境下尤为严重。本报告将围绕信息提取的鲁棒性问题展开深入分析，探究影响模型鲁棒性的深层原因，并介绍我们在弱样本、小样本、无标注、跨领域等场景上提升信息提取模型鲁棒性的研究成果。
Invited Talk, 2021年全球人工智能技术大会 “发展与挑战”智能媒体专题论坛, 杭州，中国
社交媒体是对人们在网络社会进行沟通的各种媒体的总称，具有重要的商业价值和社会价值，也是信息传播和维系社会关系的重要渠道。过去几年，复旦大学的自然语言处理团队在社会媒体开展各种智能挖掘研究，形成了社会媒体理解、发现、预测的链条，包括理解社会媒体上非规范的文字内容，从社会媒体发现有价值的信息，预测社会媒体上的用户行为。这个报告了主要介绍社交媒体上的用户行为预测方法，包括微博标签推荐、@用户(公司)推荐、转发行为预测、用户话题参与预测、专家推荐、在社会媒体挖掘中融入多模态信息等。