摘要 近期发布的ChatGPT和GPT-4等大型语言模型,不仅能高质量完成自然语言生成任务,生成流畅通顺,贴合人类需求的语言,而且具备以生成式框架完成各种开放域自然语言理解任务的能力.在少样本、零样本场景下,大模型可取得接近乃至达到传统监督学习方法的性能,且具有较强的领域泛化性,从而对传统自然语言核心任务产生了巨大的冲击和影响.本文就大模型对自然语言处理的影响进行了详细的调研和分析,试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇,探讨大模型将加强哪些自然语言处理共性问题的研究热度,展望大模型和自然语言处理技术的未来发展趋势和应用.分析结果表明,大模型时代的自然语言处理依然大有可为.我们不仅可以将大模型作为研究方法和手段,学习、借鉴大型语言模型的特点和优势,变革自然语言处理的主流研究范式,对分散独立的自然语言处理任务进行整合,进一步提升自然语言核心任务的能力;还可就可解释性、公平性、安全性、信息准确性等共性问题开展深入研究,促进大模型能力和服务质量的提升.未来,以大模型作为基座,拓展其感知、计算、推理、交互和控制能力,自然语言处理技术将进一步助力通用人工智能的发展,促进各行各业的生产力进步,更好地为人类社会服务.

关键词 ChatGPT; 对话式大模型; 大型语言模型; 自然语言处理; 通用人工智能; chat generative pre-trained transformer; large language models; natural language processing; artificial general intelligence

摘要 神经网络在方面级情感分类任务上已经取得了良好的性能.然而,由于复杂且耗时的数据标注流程,方面级情感分类在很多领域上是低资源甚至是零资源的,这限制了该任务在实际场景中的应用.为了解决这个挑战性的问题,本文关注跨领域的方面级情感分类,并提出一种基于语法和语义分割的跨领域方面情感分类方法.具体而言,针对不同领域用词差异造成的领域漂移和注意力泛化问题,本文首次提出利用单纯的语法信息来获取可在领域之间迁移的语法注意力,并引入与目标领域相近的文档情感分类任务来增强神经网络模型对目标领域的情感识别能力,最终从语法和语义两个层面分别提升模型的注意力机制和文本上下文表示.实验在6个跨领域方面级情感分类任务上进行,结果表明,与其他9种基线方法相比,本文的方法在6个任务上都取得了最先进的性能,在平均准确率和平均macro-F1两个指标上比之前最好的模型DIFD分别提升7.14%和7.6%.此外,即使以大规模预训练模型BERT, BERT-ADA, RoBERTa等作为骨干网络,本文的方法仍能实现3.5%以上的平均准确率提升和平均macro-F1提升.

关键词 方面级情感分类; 跨领域; 神经网络; 注意力; 语法和语义; aspect-level sentiment classification; cross-domain; neural network; attention; syntax and semantics;

摘要 动态网络链路预测是目前复杂网络的热点研究方向,网络表示学习可以有效学习到节点的相似性,从而为链路预测提供基础.现有的动态网络表示学习方法大多先将动态网络进行离散窗口化,然后在静态网络快照图上建模,这样很难有效处理具有细粒度时间特性的动态网络.本文提出了一种可以学习动态网络中复杂的时间特性的链路预测模型,该模型使用连续时间事件序列表示动态网络,对网络中的连续时间信息和结构演化特征进行学习,并提出了基于时间注意力的信息传递机制来模拟网络中信息的扩散与聚合,最后将链路预测转化为分类问题.实验在4个真实动态网络数据集以及模拟网络上进行,并以ap和auc作为评价指标.真实网络实验结果证明该模型能够较好地学习网络演化的连续性,得到更有效的节点表示,从而提升了链路预测效果.模拟网络的实验结果表明链路预测的效果和网络模型相关,但本文模型仍可以获得较好的预测效果.

关键词 链路预测; 连续时间; 动态网络; 表示学习; 复杂网络; link prediction; continuous time; dynamic network; representation learning; complex network;

摘要 知识图谱补全是知识图谱构建、自然语言处理和知识工程等领域的重要研究课题.知识图谱不仅是实现通用领域和专业领域精准知识服务的知识支撑,而且是信息检索、问答交互和信息推荐等领域取得突破性进展的必要基础.知识图谱的低质量和小规模是阻碍知识图谱广泛应用的主要瓶颈.知识图谱补全的目的是构建大规模高质量的知识图谱,以不断更新和扩充知识图谱.针对现有知识图谱补全方法难以从非结构化文本等辅助信息中提取深层次语义特征的问题,本文提出一种基于解析图嵌入和加权图卷积网络的知识图谱补全方法.一方面,该方法通过加权图卷积网络,对实体描述文本的语义依存分析进行建模,构建语义依存解析图嵌入;另一方面,引入了实体描述文本的多粒度句嵌入生成方法,旨在于构建能够捕获多粒度语义、深层次语义特征的实体表示学习.通过在两个公开数据集上的实验结果表明了本文知识图谱补全方法优于现有方法,验证了本文方法的有效性和优越性.

关键词 知识图谱补全; 解析图嵌入; 加权图卷积网络; 语义依存分析; 实体表示学习; knowledge graph completion; parsing graph embedding; weighted graph convolutional network; semantic dependency parsing; entity representation learning;

摘要 文本复述可以辅助机器翻译、智能问答、文本分类等任务,是非常重要的自然语言处理任务.近年来,一些研究探索了基于结构变换的文本复述,从无监督学习的概率化表示空间中采样多个句法表示并生成多个复述.然而,通过后验分布采样句法表示生成的复述往往高度相似,缺乏多样性;另一方面,从先验分布采样句法表示又难以保证与给定的语义表示相匹配,导致生成的复述质量欠佳.本文提出了基于句法模板的文本复述模型,引入了句法模板隐变量建立语义空间和句法空间的联系,并进一步提出了两步采样策略:(1)使用先验分布采样句法模板,使得采样的句法表示更加多样化;(2)使用后验分布采样句法表示,以确保句法表示与语义表示的匹配.实验表明,两步采样策略有效地结合了先验采样和后验采样的优势,生成的文本复述可以在具备良好生成质量的同时保持着更好的多样性,取得了当前最佳的复述性能.

关键词 无监督复述; 变分自编码器; 句法结构; 采样; unsupervised paraphrasing; variational autoencoder; syntax structure; sampling;

摘要 序列化推荐因其实用性和较高推荐精度在近期受到了人们广泛关注.不同于传统推荐方法,序列化推荐的核心在于如何基于用户近期交互行为来捕获用户的短期兴趣.现有工作或者依次考虑用户交互序列中物品之间的成对关系,忽略了更为重要的多对一关系;或者将用户最近交互的多个物品视为集合,忽略了物品之间的相对次序.这不仅未能充分挖掘物品之间的复杂关系,而且未准确刻画用户兴趣的演变过程.为此,本文提出门耦合胶囊网络(gating coupled capsule network, GCC),一种从个体层、联合层以及局部有序性3个层面细粒度分析物品间关系对于用户短期兴趣影响的方法.借助胶囊网络的空间感知能力, GCC引入个性化胶囊模块建模用户高阶时序信息,其不仅能够捕获物品间的联合层关系,也保留了物品间的局部有序性.另外,本文在GCC中设计了用于建模物品间成对关系的个性化门单元模块,以此捕获个体层关系对于用户短期兴趣的影响.在4个真实推荐场景下的实验结果表明, GCC相比于主流序列化推荐方法在多个评价指标上具有显著的性能优势.

关键词 胶囊网络; 序列化推荐; 门单元机制; 隐式反馈; 推荐系统; capsule networks; sequential recommendation; gating mechanism; implicit feedback; recommender systems;

摘要 语言理解是认知科学和计算机科学交叉领域共同关心的问题,但两个学科在选择具体研究问题时却十分不同.认知科学领域的研究侧重解析大脑的工作机制,更多地关注于描述大脑对语言的响应,缺乏对大脑语言功能整体化、系统化的研究,而计算机科学家在选择研究问题时重点关注实际应用效能,往往忽略了对语言最本质规律的研究.那么,如何实现两种思路的交叉融合,为智能语言计算模型的构建和语言认知机理的研究带来新的机遇和启发呢?本文首先简要回顾了认知科学和计算机科学在语言理解方向上的研究问题、发展历程和研究方法,重点阐述研究现状和面临的挑战,之后对比认知科学和计算机科学领域对于语言理解问题的主要观点,分析两者之间的异同.最后对现有语言认知和语言计算两个领域的交叉融合方法进行归纳和总结,并对未来发展趋势予以展望.

关键词 语言认知; 语言计算; 人的语言理解; 机器的语言理解; 交叉研究; language cognition; language computation; human language understanding; machine language understanding; interdisciplinary research;

摘要 会话推荐旨在根据用户在会话中的短期行为,预测用户的后续行为,多应用于用户匿名访问网站的场景.会话推荐的核心在于商品之间协同关系的建模,以提升推荐结果的性能.现有方法大都挖掘商品交互顺序信息以计算商品间的协同关系.这种方式仅仅考虑了商品之间的相邻交互的信息,忽视了历史交互信息.其实,若两个商品共享相同的历史交互信息,即它们具有一定的协同关联性.例如,在两个商品交互序列为I_1-I_2-I_3和I_1-I_2-I_4的会话中,商品I_3与I_4的历史交互信息均为I_1-I_2,则商品I_3与I_4极有可能具有较强的关联关系.因此,本文提出了一种新颖的会话推荐模型IHGCN,通过分析会话的商品交互序列建模商品之间的关联关系,同时挖掘了相邻交互信息和历史交互信息.为了从这些交互信息中协同分析出商品特征,所提出方法使用图结构构建商品之间的关系,并引入图卷积网络从商品关系图中学习商品特征.该方法使用特征维度级的细粒度注意力机制挖掘户的全局偏好,并融合用户的局部偏好;基于学习得到的商品特征和用户偏好特征生成最终的推荐结果.本文在3个公开数据集上进行了验证分析,与当前最好的相关方法的比较结果表明所提出方法 IHGCN的有效性和优越性.

关键词 会话推荐; 图卷积网络; 商品交互相似性; 用户偏好; 注意力机制; session-based recommendation; graph convolutional network; item interaction similarity; user preference; attention mechanism;