摘要 围绕国家自然科学基金委信息科学部人工智能学科(F06) 2018～2023年青年科学基金项目、地区科学基金项目、优秀青年科学基金项目以及国家杰出青年科学基金项目等人才项目的申请及资助情况,从学科领域分布、申请年龄性别、依托单位分布以及依托单位变更情况等角度进行了分析,为人工智能领域的人才队伍建设、学科发展布局提供参考.

关键词 国家自然科学基金; 人工智能学科; F06代码; 人才项目; 申请与资助; national natural science foundation; artificial intelligence discipline; F06; talent funding; application and funding

摘要 无监督学习不需要对训练数据进行人工标注,在硬件系统的图像分类应用中具有重要价值.现有忆阻脉冲神经网络(memristive spiking neural network, MSNN)的无监督学习主要集中于前后神经元之间的突触调节过程,这导致学习仅限于局部神经活动而忽略了神经反应之间的内部联系.联想记忆是大脑实现记忆的重要方式,其通过无监督方式将不同刺激关联起来以建立互联的网络记忆.同时,人类视觉系统利用注意机制从海量信息中选择重要信息,以有效减少输入神经元的数量和神经网络的规模.本文提出了一种基于注意力的联想忆阻脉冲神经网络(attention-based associative memristive spiking neural network, AAMSNN)的全电路设计,并将其应用于无监督图像分类应用.其中,注意力编码模块和注意力选择模块启发于人脑的注意力机制,用于搜索并选择重要特征信息,减少AAMSNN的输入神经元数量.联想忆阻脉冲神经网络由巴甫洛夫联想忆阻交叉阵列构成,通过调节联想记忆权重实现无监督图像分类.与其他MSNN相比, AAMSNN具有更小的MSNN规模和更少的忆阻器数量,并实现了更优的无监督图像分类准确率.

关键词 忆阻脉冲神经网络; 注意力; 联想记忆; 无监督学习; 图像分类; memristive spiking neural network; attention; associative memory; unsupervised learning; image classification

摘要 数据定价有助于释放数据的价值,并为数据交易提供依据,推动数据市场的发展和创新.目前,数据价值具有不确定性、多样性和制约性等问题,如何对数据进行准确的价值评估是数据定价的首要问题.在此背景下,本文提出的方法可以有效地解决数据定价的不确定性和多样性问题.本文构建了基于数据质量和容量的二元非线性集成效用函数来评估数据价值,融合斯塔克伯格(Stackelberg)博弈模型分析参与者行为,利用KKT算法实现了数据产品的最优定价.研究发现原始数据的最优容量、最优质量、最优价格和数据产品提供商利润与单位购买成本存在负相关关系,与消费者数量和消费者敏感程度存在正相关关系,且与消费者敏感程度的正相关关系更大.通过与基于一元效用函数的定价模型对比,进一步验证了本文所提出的考虑集成效用的数据产品定价模型具有显著的优越性.

关键词 数据定价; 数据产品; 数据交易; 集成效用; 斯塔克伯格博弈模型; data pricing; data products; data trading; integrated utility; Stackelberg game model

摘要 联邦学习能够在隐私保护的前提下联合多个参与者进行协同学习,然而经典的联邦学习不具备持续学习的能力,无法适应动态变化的应用场景.联邦持续学习近期引起了广泛的关注,其允许多个参与者在协同学习的同时进行持续学习.联邦持续学习是一种更加复杂的学习场景,其面临的挑战包括灾难性遗忘,异构性以及通信资源受限.为了应对这些挑战,本文提出一种基于原型学习的联邦持续学习方法.该方法利用原型进行知识的共享,提升通信效率的同时增强了对模型异构性的适应能力.此外,该方法设计了基于知识蒸馏和回放的灾难性遗忘的预防机制.本文提供了所提出方法的收敛性分析,并且通过对比实验和消融实验验证了该方法的有效性.

关键词 联邦持续学习; 原型学习; 知识蒸馏; 灾难性遗忘; 数据异构; federated continual learning; prototype learning; knowledge distillation; catastrophic forgetting; data heterogeneity

摘要 近年来,图神经网络在各个领域的图数据挖掘任务上取得了显著的成功,已成为领域的研究热点.图神经网络通过结构传播节点信息,并以此计算节点的表征,在大量应用场景上取得了显著的效果提升.大多数图神经网络模型遵循消息传递机制,直接将原始图数据作为输入,假设观测到的图结构准确地描述了节点之间完整的关系.然而,真实场景中图数据的产生往往受多种因素影响,包含大量随机噪声和人为扰动.这些噪声信息和干扰信息在图神经网络信息聚合的过程中随着图结构传播,对图表征质量产生严重的影响.如何度量、识别图数据中的噪声信息,是领域关注的热点问题之一.本文从信息论的角度出发,提出了一种非线性信息瓶颈指导的层次图结构学习方法 NIB-HGSL,针对图层级分类任务,为去除结构噪声、学习鲁棒的图表征提供了一个统一通用的框架. NIB-HGSL通过有效信息保留与噪声信息压缩的均衡优化,可以获得对下游任务来说最关键的层次化最小充分图.实验结果表明,本文所提出的NIB-HGSL方法与其他基线方法相比,可提高图分类和图回归任务的准确性和鲁棒性.

关键词 图表示学习; 信息瓶颈; 图结构学习; 图神经网络; 图分类; graph representation learning; information bottleneck; graph structure learning; graph neural networks; graph classification

摘要 多模态多目标问题需要求解多个全局或局部最优帕累托解集,找到这些最优解集具有极大的理论意义和实际经济效益.近年来,学者们提出许多进化算法用于解决该问题.然而,多数算法在进化过程中首先选择收敛性好的个体构建交配池,然后再考虑决策空间和目标空间的多样性.因此,决策空间中多样性好的个体可能被目标空间收敛性好的个体所替代.另外,由于帕累托最优子集在决策空间中有不同的形状和位置,因此个体很难均匀地收敛到每个帕累托子区域.本文提出了基于全局密度更新策略的两阶段多模态多目标进化算法.首先,为减轻交配池和亲本与子代一对一比较的负面影响,我们并不构建交配池,而是提出了新的算法框架,分两阶段寻优.该框架利用不同阶段进化算法的特征进行子代更新,有利于平衡种群的搜索和开发.然后,为了解决帕累托子集分布不均的问题,我们设计了目标空间密度自适应策略和全局密度估计更新种群策略,用于保持目标空间和决策空间种群多样性.我们将提出的算法与7种有代表性的多模态多目标算法进行比较.实验结果表明,我们的算法在决策空间中能找到更多等价的解,并且能更好地保持决策空间和目标空间多样性和收敛性的平衡,整体性能要好于所比较算法.

关键词 多目标进化算法; 多模态多目标优化问题; 进化算法; 全局密度; 参考向量; 边界点聚集; multi-objective evolutionary algorithm; multimodal multi-objective optimization problem; evolutionary algorithm; global density; reference vector; boundary point clustering

摘要 组合优化问题的求解是计算机科学、应用数学等学科共同研究的基础性问题.其固有的计算复杂性为精确求解带来了挑战.而采用深度神经网络进行求解已经成为一个前沿的研究方向.本文设计了一种能够求解正线性约束组合优化问题的非自回归式神经网络.本文方法的优势在于,正线性约束代表了一大类组合优化问题,突破了现有非自回归网络的通用性瓶颈;与目前常用的自回归网络相比,非自回归网络具有高效性、排列不变性等优势;在神经网络框架中,本文采用的离线无监督学习对标注的需求低,无需求解最优解进行监督训练;本文提出的在线可微分搜索方法显著提升了神经网络求解器的泛化能力.本文在设施布局、最大集合覆盖、旅行商问题等代表性的组合优化问题中验证了非自回归求解器的有效性.特别是在综合考虑求解效率和求解效果时,非自回归网络求解器持平甚至超越了SCIP, Gurobi等开源或者商用的主流传统求解软件.

关键词 组合优化; 深度学习; 非自回归网络; 图神经网络; 梯度优化; combinatorial optimization; deep learning; non-autoregressive neural network; graph neural network; gradient-based optimization

摘要 基于图的多视图聚类算法通过探索样本点之间的邻近关系,受到了广泛的关注.尽管在实际应用中已经取得了较好的聚类性能,但是观察到大多数算法只是利用一阶邻近关系去构建相似图,这导致信息探索不足和多视图数据表征能力下降.为了解决这个挑战,本文提出了一种新颖的基于高阶图融合的多视图聚类算法(high-order graph fusion for multi-view clustering, HCDMC).具体地,所提出的算法通过一种新颖的隐式权重学习策略,从每个视图对应的一阶和二阶邻近图中学习相应的高阶图.引入希尔伯特–施密特(Hilbert-Schmidt)独立性准则作为一种差异性正则化项,旨在加强一致性高阶图的互补信息.最后,对学习到的一致性高阶图施加连通性约束,直接得到聚类标签矩阵,无需任何后处理步骤.使用交替方向乘子法去解决模型的优化问题.在6个真实的数据集上进行了一系列的实验,相较于最新的算法,本文提出的算法具有更好的聚类性能.

关键词 多视图聚类; 高阶图; 图结构学习; 图融合; 差异性正则化; multi-view clustering; high-order graph; graph structure learning; graph fusion; diversity regularization

摘要 以GPT-4为代表的AI大模型时代正加速而至,深刻改变着社会生活的方方面面.大模型巨参数深度学习是破解复杂大数据智能学习瓶颈的一种有效途径.大模型在展现出强大学习能力的同时也面临着高能耗、大算力挑战.研究表明,平均一个AI大模型训练产生的能耗约等于五辆汽车一生排放的碳总量,驱动AI大模型所需算力每3.5个月翻一番.作为一种有益的补充,内嵌规律的跨尺度系统学习是破解复杂大数据智能学习瓶颈的另一种有效途径.跨尺度系统学习已经在某些专业领域展现出了巨大的成功,如2021年诺贝尔物理学奖授予复杂物理系统跨尺度建模及其在全球气候变暖中的应用.事实上,我国科学家甚至更早开拓了复杂系统跨尺度学习研究,如北京航空航天大学暗物质大数据分析团队利用跨尺度系统学习方法实现了在PB级数据中实时学习KB级关键数据,精度达到万分之一.本文从微观尺度、介观尺度和宏观尺度上分析了跨尺度系统学习的基本原理,构建了内嵌规律跨尺度系统学习的普适方法,并以社会大数据为例开展了典型应用示范.社会大数据跨尺度系统学习应用于疫情防控、舆情分析等领域,并取得显著成效,为我国社会治理数字化、网络化、智能化发展提供了新的成功样本.

关键词 人工智能; 大模型; 跨尺度系统学习; 社会大数据; 可解释性; artificial intelligence; large models; cross-scale systematic learning; social big data; interpretability

摘要 近年来,物理信息神经网络(physics-informed neural networks, PINNs)在求解非线性偏微分方程(partial differential equations, PDEs)中得到了大量应用. PINN将物理信息作为正则化约束加入神经网络损失函数,可以减少传统神经网络方法对训练数据的大量依赖.然而, PINN无法根据数据变化动态调整损失函数中各个损失项的权重,导致其在求解非线性PDEs时存在求解误差较大的问题.为此,本文提出了一种动态平衡物理信息神经网络(dynamic balanced PINN, DBPINN).首先,DBPINN为PINN损失函数的各个损失项设计了一种动态权重系数,并使用随机函数对该系数进行动态更新,能够显著提升PINN的精度.其次, DBPINN为PNNN损失函数的各个损失项之间建立了一种平衡求和方法,该方法考虑了所有损失项之间的竞争关系,使得PINN各损失项朝着有利于收敛的方向进行优化. DBPINN通过动态权重系数和平衡求和方法使得PINN可以更好地进行优化,进而解决了PINN在实际应用中求解误差较大的问题.本文选择了科学机器学习领域中4个经典的非线性PDEs对DBPINN进行了数值验证和分析.实验结果表明,相比于PINN, DBPINN在Schrodinger和Allen-Cahn方程上误差分别降低了46%和64%. DBPINN在求解Navier-Stokes方程时将系数λ1和λ2的误差分别降低了1～2个数量级和约50%. DBPINN在KdV方程中能够在多项系数中将误差降低1个数量级.最后,本文在多种形式的Burgers方程和Allen-Cahn方程上进行性能和参数消融验证,结果表明DBPINN不仅能够提升模型性能、处理小数据量以及拟合不同时间状态下的方程的能力,而且DBPINN相比于PINN具有更好的稳定性、准确率以及收敛性. DBPINN可以取代PINN被应用于各种非线性PDEs的高精度求解.

关键词 物理信息神经网络; 非线性偏微分方程; 动态权重系数; 平衡求和方法; 科学机器学习; physics-informed neural networks; nonlinear partial differential equations; dynamic weight coefficients; balanced summation method; scientific machine learning

摘要 人工智能技术作为试图研究、模仿、扩展人类智能的科学研究领域,自诞生以来就伴随着深刻的技术伦理争辩.随着近年来机器学习等相关工作的突破性进展和快速落地应用,伦理问题日趋显著并迫使学界和社会开始直面该技术的伦理治理挑战.尽管在伦理治理的规范研究上已取得初步进展,其治理实践落地方面依然困难重重,伦理实践表现出逐渐落后于技术发展需求的趋势.因此,建立与不断发展的人工智能技术相互匹配的伦理治理实践方案,实现治理理论和治理实践的良性互动将是人工智能领域未来发展的关键问题.伦理治理理论的抽象性导致了当下人工智能伦理原则难以落地实现,人工智能伦理计算(AI ethical computation)将是应对这一挑战的重要方案.本研究通过探讨现实必要性和发展可能性明确了伦理计算的重要意义,在相关研究基础上给出伦理计算的研究范畴,依据计算过程对伦理机理的认知程度和系统伦理决策的自主化程度进行划分,建立了伦理计算的高阶认知与低阶认知两类研究范式,并按其计算阶段抽象出伦理度量、伦理决策和伦理推理3个计算层次.该伦理计算框架能够对当前的伦理计算应用进行梳理,本文以伦理嵌入和公平机器学习为例说明了两类研究范式的研究特点和技术方法.在此基础上,进一步讨论构建了以伦理计算为核心的伦理治理体系,分析通过伦理计算化解伦理治理困境的可能方案,并对人工智能伦理计算的发展做出展望.

关键词 人工智能; 伦理问题; 伦理治理; 伦理计算; 伦理嵌入; 公平机器学习; artificial intelligence; ethics issues; ethical governance; ethical computation; ethical embedding; fair machine learning

摘要 高阶关联广泛存在于现实世界中,如社交网络、生物网络、交通网络等,建模及优化高阶关联对于网络属性研究和演化趋势预测具有重要意义.超图是一种灵活的数据结构,能够自然地建模高阶关联.近年来,随着深度学习的发展,基于超图建模的超图神经网络被广泛应用于面向高阶关联的表示学习.然而,现有的超图神经网络均基于直推学习范式,虽然在小规模超图数据集上取得了不错的效果,但难以应用到大规模数据上,限制了其应用范围.本文首先分析了现有超图神经网络方法在大规模数据上应用的挑战,然后针对该问题提出了面向大规模数据的高效超图神经网络方法 (efficient hypergraph neural network, EHGNN).针对现有方法空间、时间复杂度过高的问题, EHGNN分别设计了超图采样模块和基于单阶段超图卷积的计算加速模块,同时降低了超图神经网络的空间开销和时间开销,使得超图神经网络适用于大规模超图数据,显著增强了可扩展性.在4个真实超图数据集上的实验结果验证了EHGNN的有效性和高效性.

关键词 超图计算; 超图神经网络; 高阶关联; 大规模数据; 节点分类; hypergraph computation; hypergraph neural network; high-order correlation; large-scale data; vertex classification

摘要 随着数据量爆炸式增长、计算资源愈加丰富,浅层神经网络并不总能满足时代需求,从而导致深度神经网络的出现.深度神经网络的迅猛发展主要体现在应用领域,其理论研究相对匮乏.基于此,本文聚焦研究深度ReLU神经网络的万有一致性,具体内容包括:首先,是否存在一个具有统一结构的深度神经网络(即深度、宽度、激活函数等均已确定)使得该深度神经网络可以学习更多特征,并具有万有逼近性;其次,针对已确定的深度神经网络模型,证明其是强万有一致的;最后,从实验的角度验证理论结果的合理性.

关键词 深度神经网络; 万有一致性; 深度学习; ReLU 函数; 逼近性; deep neural networks; universal consistency; deep learning; ReLU function; approximation

摘要 半监督学习旨在数据标注缺乏的情形下利用无标注数据提升学习性能,是重要的机器学习范式.尽管不少研究报道表明半监督学习取得了优异的性能表现,然而其在面临诸多实践任务时仍存在伪标注质量判断困难、超参数选择敏感、理论指导缺乏等瓶颈.针对上述挑战,本文提出一种稳健选择伪标注的混合式半监督学习方法,通过综合利用模型预测结果之间的分歧自适应地判断伪标注质量,无需预设超参数,显著提升了半监督学习的稳健性.本文在理论上证明了新方法的错误率随训练轮数的增加而显著下降.实验验证了本文方法较主流技术取得了明显的性能提升,例如,相较于在CIFAR-10数据集中表现最优的半监督学习技术FixMatch,新方法的分类错误率下降了11%以上,在更具挑战的STL-10数据集中分类错误率下降了18.8%.

关键词 机器学习; 深度学习; 半监督学习; 伪标注; 稳健性; machine learning; deep learning; semi-supervised learning; pseudo-label; robust

摘要 近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些年,移动众包和网络爬虫这类经济廉价的数据收集方法被广泛采用,但他们不可避免地引入了错误标注,即标签噪声.鉴于深度神经网络强大的数据拟合能力,标签噪声的存在将造成算法的过拟合,严重制约了深度学习方法的泛化能力.针对标签噪声问题,现有研究大多显式或隐式地依赖锚点(明确属于某一类别的样本),然而在现实场景中锚点难以获取,这使得现有解决方案不再适用.为解决这一问题,本文创造性地将多类别标签噪声学习问题转化为混合比例估计(mixture proportion estimation, MPE)问题,构建了一种不依赖锚点的满足统计一致性的学习算法.本文的主要贡献包括:(1)对现有的仅适用于二组成物MPE场景的R-MPE(regrouping-MPE)方法进行推广,提出了多组成物场景下不依赖不可约假设的MPE方法 MR-MPE(multi-component oriented R-MPE);(2)理论上证明了多类别分类场景下标签噪声学习算法锚点假设和MPE问题不可约假设的等价性,并基于所提出的MR-MPE方法构建了不依赖锚点的满足统计一致性的算法.本文在合成噪声数据集和真实噪声数据集上分别与现有算法进行了对比实验,结果显示本文所提算法在多个数据集上均展现出了最优的性能;同时,在移除锚点的情况下,本文对算法的鲁棒性进行了测试,验证了所提算法不依赖锚点的特性.

关键词 混合比例估计; 多类别分类; 标签噪声学习; 锚点; 不可约假设; 统计一致性; mixture proportion estimation; multi-class classification; label-noise learning; anchor point; irreducible assumption; statistical consistency

摘要 决策树模型具有较强的可解释性,是随机森林、深度森林等机器学习方法的基础.如何选择节点的分割属性与分割值是决策树算法的关键问题,对树的泛化能力、深度、平衡程度等重要性能产生影响.传统属性选择准则的定义大多基于凹函数,使得决策树算法存在多值偏向问题,即倾向于选择取值种类多的属性作为节点分割属性.已有研究表明缓解随机一致性的评价准则能够降低分类偏差与类簇个数偏向.本文将基于标准化框架缓解基尼指数的随机一致性,以此缓解其多值偏向问题.通过人造数据集验证,标准基尼指数能够缓解基尼指数的多值偏向问题,并且选择出具有决策信息的属性.通过12个基准数据集与两个图像数据集的实验验证,基于标准基尼指数的决策树算法比现有缓解多值偏向的决策树算法具有较高的泛化性能.

关键词 基尼指数; 多值偏向; 决策树; 随机一致性; Gini index; bias to multi-value; decision tree; random consistency

摘要 当前面向标签噪声的鲁棒性学习通常依赖样本选择和标签修正两种策略,但是这两类方法均存在缺陷.基于样本选择的方法忽略了被过滤掉的样本中的有效信息,进而降低了模型的性能.基于标签修正的方法常使用自标签技术而引起模型的错误积累问题.对此,本文提出了一个集成样本选择、标签修正的联合训练框架.针对样本选择模块,本文设计了一种新的选择标准,通过在线选择的方法对所挑选的样本集合进行更新.相较于现有选择标准,本文提出的标准可保留更多边界样本,提升了模型对决策边界的学习性能,增强了模型的泛化性能.针对标签修正模块,本文提出了一种联合标签修正策略.相比于传统的自标签修正技术,该模块通过联合特征空间视角,对噪声样本进行多视角的标签修正,解决了传统自标签技术的错误累积问题.此外,本文引入对比学习正则化项,提升了标签修正效果和模型表征学习能力.本文方法在4个测试基准上取得了当前最好分类效果,验证了所提训练框架的有效性.

关键词 标签噪声学习; 样本选择; 标签修正; 对比学习; learning with noisy labels; sample selection; label correction; contrastive learning

摘要 因果效应定量描述变量间的影响作用,在许多现实任务中发挥着重要作用.辨识因果效应需要依赖已知的因果关系.一种确定因果关系的主流方法是引入干预信息,即通过人为干预某些因素而获取的信息.鉴于实际干预通常会带来巨大的成本,本文提出利用易于获取的专家知识替代干预,通过设计形如“在XX干预下,目标变量的值相较不干预时增大还是减小?”的问题并向专家咨询,确定因果关系,进而辨识因果效应.尽管每次专家返回的信息量少于干预信息,但通过一定次数的咨询,本文方法可以达到与使用干预信息方法相近的因果效应辨识效果.实验验证了上述结论.

关键词 因果效应辨识; 因果关系; 人机交互; 专家知识; causal effect identification; causal relation; human-in-the-loop; expert knowledge

摘要 与传统多类分类相比,多维分类中每个对象仍由一个示例(特征向量)表示,但同时与多个类别变量相关联,各类别变量基于异构类别空间刻画对象的语义.降维可以有效地缓解维度灾难并加速模型训练,已有多维分类研究均关注于设计性能更好的学习算法,尚未出现面向多维分类数据降维方面的工作.本文基于特征空间和语义空间的相关性,首次面向多维分类数据设计了一种名为SDeM的监督式线性降维方法.该方法使用Hilbert-Schmidt独立判据衡量两个空间的相关性,通过最大化投影特征空间与语义空间在该度量下的相关性确定投影矩阵.实验结果表明,相比于无监督式降维方法,SDeM所得降维特征更有利于多维分类方法取得更好的泛化性能.

关键词 机器学习; 多维分类; 降维; 空间相关性; Hilbert-Schmidt独立准则; machine learning; multi-dimensional classification; dimensionality reduction; dependence between spaces; Hilbert-Schmidt independence criterion

摘要 异常检测旨在发掘数据中异于寻常的模式,它在金融欺诈以及网络入侵检测等领域有着广泛的应用前景.本文主要研究了如何在结构复杂的图数据中进行异常检测,这涉及到挖掘异常的图结构信息以及节点属性信息.现有大部分工作通常采用一个两步的框架,即先对结构复杂的图数据进行表征学习生成图表征向量,然后再将该向量用于下游异常检测任务.由于分开训练的图表征学习任务与下游异常检测任务存在一定的语义鸿沟,这导致现有方法无法有效地挖掘出图中潜在的异常模式.因此,我们提出了一种基于自监督的端到端图数据异常检测框架SGAD,它可以有效地捕获图数据的语义信息并用于异常检测.具体来说, SGAD对无标签图数据进行了一系列变换用于构建自监督辅助任务,然后该自监督任务的输出结果可以直接用于异常检测.我们在多个公开数据集上进行了大量实验,实验结果表明本文提出的SGAD与现有方法相比获得了显著的效果提升.

关键词 图结构数据; 异常检测; 自监督学习; 图神经网络; 图表征学习; graph-structured data; anomaly detection; self-supervised learning; graph neural network; graph representation learning

摘要 联邦跨模态检索利用分散的客户端学习一个共享跨模态检索模型,从而降低集中大规模多模态训练数据时高昂的维护成本,解决分布式数据存储场景下跨模态检索中存在的数据隐私问题.然而现有的联邦跨模态检索方法大多依赖于大量的语义标注,这限制了检索模型在大规模应用场景下的扩展性.与之不同,本文提出一种无监督的联邦跨模态哈希检索模型,旨在保护客户端数据隐私的前提下,学习不依赖语义标注的跨模态检索模型.由于联邦环境中多模态数据分布不平衡,局部信息不足以让模型学习到整体数据上的模态间相似性,从而影响检索性能.为解决此问题,本文提出一个全局–局部模态间对比正则化方法,通过使用不同模态的全局哈希模型对单个模态的局部哈希模型进行约束,使局部哈希模型能够充分感知整体数据的相似性语义,从而加强对本地跨模态哈希学习过程的引导.同时,本文引入一种全局–局部模态内知识蒸馏策略来进一步地获取模态内特有的全局知识.5个基准跨模态检索数据集上的实验结果验证了本文提出方法的有效性.

关键词 联邦学习; 多模态学习; 无监督学习; 跨模态检索; 无监督跨模态哈希; federated learning; multimodal learning; unsupervised learning; cross-modal retrieval; unsupervised cross-modal Hashing

摘要 为了建模多维时间序列(multivariate time series, MTS)中复杂的时序依赖性与随机性,并实现对它的无监督异常检测这一工业机器或互联网基础设施设备质量管理中的关键任务,本文提出了一种堆叠式对抗变分循环神经网络(stacked adversarial variational recurrent neural network, SaVRNN).SaVRNN是一个层次化概率动态模型,它将层次化概率生成模型、堆叠式循环结构和多层对抗优化方式整合到一个联合贝叶斯框架下.具体来说, SaVRNN核心思想是利用堆叠循环结构捕捉多层次与长距离的时序相关性,利用层次化的概率生成操作建模多层的结构特性,进而实现对多维时间序列正常模式的学习,最后通过重构的概率来判断异常模式.为了实现模型的高效推理,本文创新性地提出了一种向上–向下对抗变分推理方案,实现对隐层变量后验的准确估计.针对多层对抗网络中难以实现生成器与判别器的更新平衡导致的SaVRNN训练困难的问题,本文基于条件传输(conditional transport,CT)提出了一个新的优化方法.最后,基于Sa VRNN的层次化结构,本文将多层似然进行融合以改进传统的异常检测策略.在两个公共数据集和一个实测数据集上显示所提方法在F1-score指标上实现了相比目前主流方法的更优性能,证明了所提模型在时间序列在线异常检测任务上的有效性.

关键词 异常检测; 多维时间序列; 对抗变分贝叶斯; 变分循环神经网络; 条件传输; anomaly detection; multivariate time series; adversarial variational Bayesian; variational RNN; conditional transport

摘要 区域同位模式挖掘(RCPM, regional co-location pattern mining)是为了发掘某个局部区域内存在的同位(co-location)模式,以发现在全局中无法发现的信息.传统的区域挖掘大多会采用明确界限的几何体框定同位模式产生的区域.但是现实中的各类区域可能是无明确边界的.另外,数据的分布情况作为区域的重要特征之一,也应该成为区域选择的因素.基于上述思考,本文引入密度峰值聚类(DPC, density peak-based clustering),提出新的密度度量函数,并结合模糊集理论与k近邻距离,设计了一个行之有效的并行区域同位模式挖掘算法.实验结果表明,利用本文方法挖掘到的结果更具有现实意义,并且并行化极大地提升了挖掘算法的效率.在真实数据上, 2线程下的加速比达到了1.89.

关键词 空间数据挖掘; 区域同位模式; 模糊密度峰值聚类; 并行算法; k近邻; spatial data mining; regional co-location pattern; fuzzy density peak clustering; parallel algorithm; k-nearest neighbor;

摘要 朴素贝叶斯由于其简单、高效和有效性成为十大数据挖掘算法之一.然而它要求的属性条件独立假设在实际应用中很难成立.为了削弱其属性条件独立假设,学者们提出了结构扩展、属性选择、属性加权、实例选择、实例加权5类改进方法.现有改进方法虽然在一定程度上降低了模型的偏差,但同时也提高了模型的方差,因而限制了模型的泛化性能.偏差–方差权衡是机器学习的核心原则之一,该原则要求模型具有较低偏差的同时,方差也要尽量低.如何在贝叶斯分类学习中引入偏差–方差权衡,同时获得较低的偏差和方差,从而进一步提升模型的泛化性能,是本文关注的重点.为此,本文首先理论分析了在贝叶斯分类学习中做偏差–方差权衡的可行性,探讨了保证可行性的关键因素;然后通过构建回归任务来学习贝叶斯分类模型的后验概率损失,调控关键因素的变化;最后提出了一种基于偏差–方差权衡的贝叶斯分类学习框架,并在提出的学习框架下重新实现了朴素贝叶斯及其各类改进模型.在大量经典的UCI标准数据集上的实验结果表明,现有的各类先进的贝叶斯分类模型在本文所提学习框架下的分类性能显著优于其原始性能.

关键词 朴素贝叶斯; 属性条件独立假设; 偏差 – 方差权衡; 后验概率损失; 学习框架; naive Bayes; attribute conditional independence assumption; bias–variance trade-off; posterior probability loss; learning framework;

摘要 深度神经网络(deep neural networks, DNNs)能否取得令人满意的性能很大程度上依赖于其神经网络架构.研究人员提出神经网络架构搜索(neural architecture search, NAS)来自动搜索神经网络的最优架构,现有的工作大多使用每秒浮点运算次数(floating point operations per second, FLOPs)来评价神经网络架构的实际效率,但是FLOPs和实际延迟并不是完全一致的.随着任务变得越来越复杂以及越来越多的硬件平台开始运行基于深度神经网络的算法,为硬件平台搜索高效的神经网络架构已成为亟待解决的难题.为了解决这一问题,本文提出了硬件感知的搜索空间构造方法,并借助考虑架构推断延迟的搜索策略,来搜索最优的神经网络架构.本文在可变换神经网络架构搜索方法(transformable architecture search, TAS)和图神经网络架构搜索方法 (graph neural architecture search, GraphNAS)上应用了该方法,提出了硬件可感知的可变换神经网络架构搜索方法 (hardwareaware transformable architecture search, HTAS)和硬件感知的图神经网络架构搜索方法 (hardwareaware graph neural architecture search, HGNAS).相比于现有方法,本文所提出的这两种算法在多种数据集上均针对不同类型目标硬件搜索出了更加高效的深度神经网络架构,从而证明了该方法的有效性.

关键词 深度学习; 神经网络架构搜索; 可变换神经网络架构搜索; 图神经网络架构搜索; 硬件感知; deep learning; neural architecture search; transformable architecture search; graph neural architecture search; hardware-aware;

摘要 模型剪枝被广泛应用于深度神经网络(deep neural network, DNN)的压缩与加速,为资源受限的终端设备部署DNN提供了技术支持.然而以往的剪枝研究缺乏对卷积核效力机制的有效评估,同时忽视了压缩空间中多种不可控因素的潜在干扰.因此本文提出一种卷积效力评价机制驱动的DNN全局剪枝方法,在特征图信息丰富度的基础上,以可视化的方式评估卷积核的效力值,优化了卷积核选择机制.同时探索了压缩空间中卷积结构的效力相关性,并在不同卷积层中使用不同的剪枝标准.首先,本文通过离散傅里叶变换(discrete Fourier transform, DFT)对特征图的信息度进行定量分析,并提出一种评估卷积核效力值的数据驱动方法.然后,基于卷积结构的相关性,引入损失因子以度量剪枝过程中剩余压缩单元的效力损失.最后根据层索引值的变化,在不同结构的功能层中自适应修正剪枝标准.实验表明,相比于最新的剪枝策略,本文的剪枝方法具有更佳的压缩性能和模型优化能力.

关键词 深度神经网络压缩; 模型剪枝; 重要度评估; 损失因子; 特征图信息度; deep neural network compression; model pruning; significance evaluation; loss factor; informativeness of feature map;

摘要 社交媒体谣言以极低的成本在互联网中被快速扩散,给社会带来显著的负面影响.传统的谣言检测模型主要考虑传播模式、写作风格、用户信用和世界知识等信息.然而,谣言的传播模式通常难以被捕捉,写作风格却容易被模仿,由元数据(如职业、家乡、学历、年龄等)构成的用户信息也容易被伪造.本文提出了一种新颖的知识驱动的图卷积神经网络谣言检测模型.该模型首先将社交媒体文本表示成一种语义–实体无向图结构,其中节点包含原社交媒体文本中的词语,利用世界知识库扩展的实体词语,以及利用语言知识库扩展的语义词语,边包含三类节点的6种有效组合.该语义–实体图可以有效地增强任意两种节点的共现性,从而丰富了原社交媒体文本的表示,从一定程度上缓解数据稀疏共现问题.语言知识利用了HowNet (义原和同义词)以及WordNet (上义词、下义词和同义词)分别对中英文社交媒体文本的主题词进行扩充.并成功地将语言知识和实体知识通过图卷积神经网络框架有效集成.在4个国际基准中英文谣言语料库上的实验结果和可视化分析表明了本文模型的有效性.

关键词 语言知识; 世界知识; 主题模型; 图卷积神经网络; 谣言检测; language knowledge; world knowledge; topic model; graph convolutional neural networks; rumor detection;

摘要 认知健康是大脑健康的重要组成部分,与个体全生命周期的正常发展密切相关.目前,非受限普适场景下的认知能力评估已成为实现认知障碍相关疾病早期预警的重要途径.然而,在医疗、家庭等不同计算场景下,因感知设备、认知评估流程等的不同,往往存在不同场景间评估模型相互适用难的问题.针对以上跨场景认知能力评估挑战,本文提出了一种参数自适应的细粒度迁移学习方法 PAFG-TL.PAFG-TL基于随机森林模型实现,通过参数自适应的个体分类器评估策略和领域自适应的决策树生长机制实现参数无关的个体分类器聚类评估和决策树细粒度进化生长.通过在临床认知评估和公开基准数据集上进行实验验证,证明了PAFG-TL方法在跨场景认知能力评估中的有效性.

关键词 参数自适应; 细粒度; 迁移学习; 跨场景; 认知能力评估; parameter adapative; fine-grained; transfer learning; cross-scenario; cognitive ability assessment;

摘要 联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.

关键词 联邦学习; 进化策略; 模型编码; 网络剪枝; 本地个性化; federated learning; evolution strategy; model encoding; network pruning; local customization;

摘要 联邦学习允许资源受限的边缘计算设备协作训练机器学习模型,同时能够保证数据不离开本地设备,但也面临着异构数据下全局模型收敛缓慢甚至偏离最优解的挑战.为解决上述问题,本文提出一种自适应个性化联邦学习(adaptive personalized federated learning, APFL)算法,在同时包括空间和时间维度的多任务学习框架下,考虑面向异构数据的联邦优化问题.首先, APFL采用参数分解策略,将待训练模型参数分解为全局共享参数和客户端特定参数,在提取所有客户端公共知识的同时实现针对每个客户端的个性化建模.进一步地, APFL将每个客户端上执行的局部优化构建为顺序多任务学习,通过对全局共享参数的更新施加弹性权重巩固(elastic weight consolidation, EWC)惩罚,实现了全局共享模型中重要参数的记忆保留和非重要参数的快速学习.多个联邦基准数据集上的对比实验验证了本文方法的有效性和优越性.

关键词 联邦学习; 边缘计算; 异构数据; 多任务学习; 持续学习; 参数分解; 个性化; federated learning; edge computing; heterogeneous data; multi-task learning; continual learning; parameter decomposition; personalization;

摘要 从概率框架的角度来看,生成模型首先由数据学习联合概率分布,然后再求出条件概率分布,通常具有更快的收敛速度;而判别模型由数据直接学习条件概率分布,往往具有更高的准确率.生成–判别混合模型作为二者的有效结合,同时集成了它们的优点.然而,现有方法在构建混合模型时,需要将原始特征划分为两个独立的特征空间,分别用于训练生成模型和判别模型.特征划分不仅提升了模型的时间复杂度,还削弱了原始特征空间的表达能力.为了解决这一问题,本文提出了一种基于特征增广的生成–判别混合模型构建方法.该方法首先利用生成模型学习条件概率分布,然后将学到的条件概率分布作为新特征增广到原始特征空间中,最后在增广后的特征空间中训练判别模型并预测最终的分类结果.该方法利用特征增广的思想做模型混合,无需对原始特征进行划分,具有较低的时间复杂度,同时还增强了原始特征空间的表达能力.在36个经典UCI标准数据集上的实验结果表明,所提方法不仅具有有效性和通用性,还遵循了偏差–方差权衡原则.

关键词 生成模型; 判别模型; 特征增广; 条件概率分布; 偏差–方差权衡; generative model; discriminative model; feature augmentation; conditional probability distribution; bias-variance trade-off;

摘要 知识图谱嵌入是知识图谱研究中的一项重要课题.它旨在根据已观测到的三元组,学习知识图谱中实体与关系的低维向量表示.知识图谱嵌入在许多下游任务中发挥了巨大作用,例如知识图谱补全、三元组分类.如今,深度模型利用神经网络强大的非线性拟合能力,在知识图谱嵌入领域展示出了优异的性能.然而,现有的大多数方法忽略了实体与关系之间的多尺度特征交互, InceptionE是目前唯一考虑到了多尺度交互特征的模型,但由于大量的计算开销导致其很难进行训练.本文提出了一种全新的知识图谱嵌入模型MDCE,它使用多尺度空洞卷积核在不同的尺度空间捕捉丰富的交互特征.同时, MDCE相比于InceptionE方法的计算开销更小.我们在多个基准数据集上进行了大量实验.在链接预测任务上的结果表明, MDCE不仅在性能方面超过了已有的工作,而且更加高效、稳健.

关键词 知识图谱; 知识图谱嵌入; 深层模型; 多尺度特征; 链接预测; 人工智能; knowledge graph; knowledge graph embedding; deep model; multi-scale feature; link prediction; artificial intelligence;

摘要 不完全多视图聚类是通过结合多视图数据的异构不完全特征来获得数据本征结构,从而提高聚类性能的一种学习范式.在实际应用中,各个视图除了缺失某些完整样本外,还会受到缺失值与异常值的影响,使得大部分传统的不完全多视图聚类方法失效.为解决上述问题,本文提出一种基于独立自表达学习的不完全多视图聚类方法.该方法通过自表达重构,补全缺失的特征的同时学习视图独有的自表达矩阵,然后为自表达矩阵添加低秩约束,更好地挖掘本征结构,并通过引入希尔伯特–施密特独立性准则来衡量不同视图间的差异性.多个数据集上的实验结果表明,所提方法在大多数情况下能取得较对比方法更优的聚类结果.

关键词 不完全多视图聚类; 特征任意缺失; 自表达; 差异性; incomplete multi-view clustering; arbitrary missing feature; self-presentation; diversity;

摘要 概率模型为机器学习处理广泛存在的不确定性提供了强大的工具.概率编程利用计算机程序表示概率模型,支持采样和以任意观察值为条件进行的概率推断.长期以来,概率程序中的依赖关系往往是线性或广义线性的,许多成功的模型和推断算法往往都依赖于这一简化.然而,这也限制了概率程序的表达能力和灵活性.可微概率编程允许构建具有参数化的非线性依赖关系(如神经网络)的概率程序,并使用基于梯度的方法从数据中学习未知参数.这种编程范式容易扩展,极大地避免了繁琐的模型选择过程,且允许端到端地部署概率模型.本文介绍珠算(ZhuSuan),一种开源的可微概率编程库,并以此为例,探讨可微概率编程系统的设计与实现.

关键词 概率模型; 概率编程; 贝叶斯推断; 变分推断; 深度学习; probabilistic models; probabilistic programming; Bayesian inference; variational inference; deep learning;

摘要 强化学习(reinforcement learning, RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我们更倾向于以多智能体强化学习(multi-agent reinforcement learning, MARL)为技术手段,应对现实的复杂系统.近十年来,多智能体系统(multi-agent system, MAS)和强化学习的结合日渐紧密,逐渐形成并丰富了多智能体强化学习这个研究方向.回顾MARL的相关工作,我们发现研究者们大致从学习框架的讨论、联合动作学习,以及基于通信的MARL这3个角度解决MARL的问题.而本文重点调研基于通信的MARL的工作.首先介绍选取基于通信的MARL进行讨论的原因,然后列举出不同性质的多智能体系统下的代表性工作.希望本文能够为MARL的研究者提供参考,进而提出能够解决实际问题的MAS方法.

关键词 强化学习; 多智能体系统; 部分可观测环境; 多智能体通信; 协同控制; reinforcement learning; multi-agent system; partially observable environment; multi-agent communication; coordinated control;

摘要 随着互联网和移动计算等技术的发展,人们的在线行为产生了越来越多的数据,想要从海量数据中挑选出用户可能喜欢的物品,推荐系统不可或缺.然而传统的推荐算法需要将用户数据收集到服务端才能构建模型,这会泄露用户隐私.最近,谷歌针对机器学习任务中需要收集用户数据才能进行建模的问题,提出了一种新的学习范式——联邦学习.联邦学习与推荐系统相结合,使得联邦推荐算法能够在模型构建过程中,始终将用户数据保留在客户端本地,从而保护了用户隐私.本文主要对联邦学习与推荐系统相结合的研究工作进行综述,并从架构设计、系统的联邦化和隐私保护技术的应用3个角度重点分析联邦推荐算法的研究进展.最后,对基于联邦学习的推荐系统可研究的方向进行展望.

关键词 推荐系统; 联邦学习; 隐私保护; 联邦推荐; 协同过滤; recommender systems; federated learning; privacy protection; federated recommendation; collaborative filtering;

摘要 卷积神经网络目前在人工智能多个领域均取得了不同程度的进展.卷积计算是基于参数共享的滑窗机制,这导致卷积神经网络更多地关注特征信息的局部关系,对全局关系的建模能力有限.局部关系和全局关系对特征的表达均具有重要的作用.为此,本文聚焦于如何对特征信息的局部–全局关系进行构建并有效耦合,从而挖掘更加丰富的特征信息,提高特征的判别性.本文提出了局部–全局关系耦合模块,该模块是由特征提取、基于深度卷积(depth-wise convolution, DWConv)的局部关系构建分支、基于多头自注意力机制(mutli-head self-attention, MHSA)的全局关系构建分支和基于点向卷积(point-wise convolution, PWConv)的关系耦合4部分组成.基于此模块,本文构建了编解码结构的局部–全局关系耦合神经网络,该网络可以对特征信息的局部–全局关系进行建模,增强特征信息的表征能力,进而提升模型的性能.为验证所提算法的有效性,本文在低照度图像增强任务上,使用基准数据集与其他算法进行了实验对比.实验结果表明,本文所提出的方法取得了较好的图像增强结果,优于当前先进的图像增强方法.最后,本文通过消融实验和扩展实验从多个角度进一步验证了有效耦合局部–全局关系的重要性和可扩展性.

关键词 低照度图像增强; 局部–全局关系; 计算机视觉; 卷积神经网络; 深度学习; low-light image enhancement; local-global relationship; computer vision; convolution neural network; deep learning;

摘要 卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入到卷积核剪枝的过程中,在每次训练迭代中根据重要性和压缩率将卷积核分成两类并对它们分别用不同的更新策略.对于冗余参数,此策略将目标函数反传的梯度进行截流,仅使其权重逐渐衰减直至为零.本文在VGGNet和ResNet两种网络框架上对此剪枝算法进行验证.结果表明:本算法不仅能够在分类精度、计算量、参数量和任务相关特征的保留程度上优于当前主流剪枝算法,而且在高压缩率情况下表现优越.

关键词 卷积神经网络; 压缩; 剪枝; 任务相关特征; 梯度流; convolutional neural networks; compressing; pruning; features related to task; gradient flow;

摘要 群体智能是自然界普遍存在的现象,受到了国内外研究者的广泛关注.网络和人工智能技术的高速发展,使得大规模群体在网络上通过个体智慧激发和群体智慧汇聚形成超越个体能力的群体智能成为可能.随之而来,如何认知和形成这样的群体智能系统成为了研究的热点.本文将在广义群体智能的概念体系之下,探索群体智能系统的度量理论和方法,以此来促进对群体智能形成机理的更深层认知.本文提出了群体智能系统的基本特性以及其形成的激发汇聚建模,指出群体智能系统实质上是一类复杂非线性动力学系统,包含微观个体激发、宏观群体协作、全局群智汇聚3个核心动力学属性.并以此为基础,讨论了群体智能系统群体熵度量所应满足的基本性质.最后以图的群体化搜索为例,说明了群体的激发和汇聚过程,以及在此过程中如何通过群体熵来度量群体行为的变化,验证了本文提出的群体熵度量思想的有效性.

关键词 群体智能系统; 动力学模型; 群体熵; 度量; 激发; 汇聚; crowd intelligence system; dynamic model; crowd entropy; measurement; incentive; convergence;

摘要 基于间隔的聚类是一类经典的聚类算法,此类算法假设聚类结构能通过引入监督学习中的间隔来确定.即一个好的聚类结果,当以其簇标记作为类别标记进行监督学习时,所得分类器产生的关于间隔的目标物理量也同时达到最优.目前最为有效的间隔物理量是间隔分布,其基于最新的间隔理论,取得了比优化最小间隔更好的效果.然而在现实聚类任务中,我们往往还能获得一些额外的监督信息,例如两两样本之间的"必连"约束和"勿连"约束,此时优化间隔分布是否还有效尚未可知.对此,本文提出面向半监督聚类的最优间隔分布学习机(ODMSSC),对该问题进行初步探索. ODMSSC对应的形式化是一个混合整数规划,我们将其放松成一个鞍点问题,并提出一种高效的交替优化方法进行求解.最终通过真实数据集上的实验,我们验证了所提算法的有效性.

关键词 半监督聚类; 约束聚类; 最优间隔分布学习机; 间隔分布; 间隔; semi-supervised clustering; constrained clustering; optimal margin distribution machine; margin distribution; margin;

摘要 无监督异常检测(unsupervised anomaly detection, UAD)旨在检测任何未见过的偏离预期模式或正常分布的数据,由于其学习过程不依赖对罕见异常样本的获取,因此在现实动态环境下备受青睐.然而,在现实场景中,目标任务往往会随时间动态变化,这要求模型能够连续执行多个不同的UAD任务,确保在仅有当前任务正常数据的前提下,实现对所有见过任务的异常检测.本文旨在研究这一问题,尝试从互信息角度,提出一种新的连续UAD (CUAD)算法.具体而言,我们针对原始目标依赖过往任务原始数据和异常数据的问题,给出基于信息论的损失函数,并对其进行近似优化.据此,我们构建出来的深度编码器模型既能连续执行不同的UAD任务,又能有效应对连续学习带来的灾难性遗忘问题.最后,我们在多个标准数据集上的实验验证了所提出方法的优越性.

关键词 异常检测; 无监督; 灾难性遗忘; 连续学习; 信息论; anomaly detection; unsupervised; catastrophic forgetting; continual learning; information theory;