摘要 近期发布的ChatGPT和GPT-4等大型语言模型,不仅能高质量完成自然语言生成任务,生成流畅通顺,贴合人类需求的语言,而且具备以生成式框架完成各种开放域自然语言理解任务的能力.在少样本、零样本场景下,大模型可取得接近乃至达到传统监督学习方法的性能,且具有较强的领域泛化性,从而对传统自然语言核心任务产生了巨大的冲击和影响.本文就大模型对自然语言处理的影响进行了详细的调研和分析,试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇,探讨大模型将加强哪些自然语言处理共性问题的研究热度,展望大模型和自然语言处理技术的未来发展趋势和应用.分析结果表明,大模型时代的自然语言处理依然大有可为.我们不仅可以将大模型作为研究方法和手段,学习、借鉴大型语言模型的特点和优势,变革自然语言处理的主流研究范式,对分散独立的自然语言处理任务进行整合,进一步提升自然语言核心任务的能力;还可就可解释性、公平性、安全性、信息准确性等共性问题开展深入研究,促进大模型能力和服务质量的提升.未来,以大模型作为基座,拓展其感知、计算、推理、交互和控制能力,自然语言处理技术将进一步助力通用人工智能的发展,促进各行各业的生产力进步,更好地为人类社会服务.

关键词 ChatGPT; 对话式大模型; 大型语言模型; 自然语言处理; 通用人工智能; chat generative pre-trained transformer; large language models; natural language processing; artificial general intelligence

摘要 神经网络在方面级情感分类任务上已经取得了良好的性能.然而,由于复杂且耗时的数据标注流程,方面级情感分类在很多领域上是低资源甚至是零资源的,这限制了该任务在实际场景中的应用.为了解决这个挑战性的问题,本文关注跨领域的方面级情感分类,并提出一种基于语法和语义分割的跨领域方面情感分类方法.具体而言,针对不同领域用词差异造成的领域漂移和注意力泛化问题,本文首次提出利用单纯的语法信息来获取可在领域之间迁移的语法注意力,并引入与目标领域相近的文档情感分类任务来增强神经网络模型对目标领域的情感识别能力,最终从语法和语义两个层面分别提升模型的注意力机制和文本上下文表示.实验在6个跨领域方面级情感分类任务上进行,结果表明,与其他9种基线方法相比,本文的方法在6个任务上都取得了最先进的性能,在平均准确率和平均macro-F1两个指标上比之前最好的模型DIFD分别提升7.14%和7.6%.此外,即使以大规模预训练模型BERT, BERT-ADA, RoBERTa等作为骨干网络,本文的方法仍能实现3.5%以上的平均准确率提升和平均macro-F1提升.

关键词 方面级情感分类; 跨领域; 神经网络; 注意力; 语法和语义; aspect-level sentiment classification; cross-domain; neural network; attention; syntax and semantics;

摘要 动态网络链路预测是目前复杂网络的热点研究方向,网络表示学习可以有效学习到节点的相似性,从而为链路预测提供基础.现有的动态网络表示学习方法大多先将动态网络进行离散窗口化,然后在静态网络快照图上建模,这样很难有效处理具有细粒度时间特性的动态网络.本文提出了一种可以学习动态网络中复杂的时间特性的链路预测模型,该模型使用连续时间事件序列表示动态网络,对网络中的连续时间信息和结构演化特征进行学习,并提出了基于时间注意力的信息传递机制来模拟网络中信息的扩散与聚合,最后将链路预测转化为分类问题.实验在4个真实动态网络数据集以及模拟网络上进行,并以ap和auc作为评价指标.真实网络实验结果证明该模型能够较好地学习网络演化的连续性,得到更有效的节点表示,从而提升了链路预测效果.模拟网络的实验结果表明链路预测的效果和网络模型相关,但本文模型仍可以获得较好的预测效果.

关键词 链路预测; 连续时间; 动态网络; 表示学习; 复杂网络; link prediction; continuous time; dynamic network; representation learning; complex network;