关键词 超图计算; 超图神经网络; 高阶关联; 大规模数据; 节点分类

摘要 随着数据量爆炸式增长、计算资源愈加丰富,浅层神经网络并不总能满足时代需求,从而导致深度神经网络的出现.深度神经网络的迅猛发展主要体现在应用领域,其理论研究相对匮乏.基于此,本文聚焦研究深度ReLU神经网络的万有一致性,具体内容包括:首先,是否存在一个具有统一结构的深度神经网络(即深度、宽度、激活函数等均已确定)使得该深度神经网络可以学习更多特征,并具有万有逼近性;其次,针对已确定的深度神经网络模型,证明其是强万有一致的;最后,从实验的角度验证理论结果的合理性.

关键词 深度神经网络; 万有一致性; 深度学习; ReLU 函数; 逼近性; deep neural networks; universal consistency; deep learning; ReLU function; approximation

摘要 半监督学习旨在数据标注缺乏的情形下利用无标注数据提升学习性能,是重要的机器学习范式.尽管不少研究报道表明半监督学习取得了优异的性能表现,然而其在面临诸多实践任务时仍存在伪标注质量判断困难、超参数选择敏感、理论指导缺乏等瓶颈.针对上述挑战,本文提出一种稳健选择伪标注的混合式半监督学习方法,通过综合利用模型预测结果之间的分歧自适应地判断伪标注质量,无需预设超参数,显著提升了半监督学习的稳健性.本文在理论上证明了新方法的错误率随训练轮数的增加而显著下降.实验验证了本文方法较主流技术取得了明显的性能提升,例如,相较于在CIFAR-10数据集中表现最优的半监督学习技术FixMatch,新方法的分类错误率下降了11%以上,在更具挑战的STL-10数据集中分类错误率下降了18.8%.

关键词 机器学习; 深度学习; 半监督学习; 伪标注; 稳健性; machine learning; deep learning; semi-supervised learning; pseudo-label; robust

摘要 近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些年,移动众包和网络爬虫这类经济廉价的数据收集方法被广泛采用,但他们不可避免地引入了错误标注,即标签噪声.鉴于深度神经网络强大的数据拟合能力,标签噪声的存在将造成算法的过拟合,严重制约了深度学习方法的泛化能力.针对标签噪声问题,现有研究大多显式或隐式地依赖锚点(明确属于某一类别的样本),然而在现实场景中锚点难以获取,这使得现有解决方案不再适用.为解决这一问题,本文创造性地将多类别标签噪声学习问题转化为混合比例估计(mixture proportion estimation, MPE)问题,构建了一种不依赖锚点的满足统计一致性的学习算法.本文的主要贡献包括:(1)对现有的仅适用于二组成物MPE场景的R-MPE(regrouping-MPE)方法进行推广,提出了多组成物场景下不依赖不可约假设的MPE方法 MR-MPE(multi-component oriented R-MPE);(2)理论上证明了多类别分类场景下标签噪声学习算法锚点假设和MPE问题不可约假设的等价性,并基于所提出的MR-MPE方法构建了不依赖锚点的满足统计一致性的算法.本文在合成噪声数据集和真实噪声数据集上分别与现有算法进行了对比实验,结果显示本文所提算法在多个数据集上均展现出了最优的性能;同时,在移除锚点的情况下,本文对算法的鲁棒性进行了测试,验证了所提算法不依赖锚点的特性.

关键词 混合比例估计; 多类别分类; 标签噪声学习; 锚点; 不可约假设; 统计一致性; mixture proportion estimation; multi-class classification; label-noise learning; anchor point; irreducible assumption; statistical consistency

摘要 决策树模型具有较强的可解释性,是随机森林、深度森林等机器学习方法的基础.如何选择节点的分割属性与分割值是决策树算法的关键问题,对树的泛化能力、深度、平衡程度等重要性能产生影响.传统属性选择准则的定义大多基于凹函数,使得决策树算法存在多值偏向问题,即倾向于选择取值种类多的属性作为节点分割属性.已有研究表明缓解随机一致性的评价准则能够降低分类偏差与类簇个数偏向.本文将基于标准化框架缓解基尼指数的随机一致性,以此缓解其多值偏向问题.通过人造数据集验证,标准基尼指数能够缓解基尼指数的多值偏向问题,并且选择出具有决策信息的属性.通过12个基准数据集与两个图像数据集的实验验证,基于标准基尼指数的决策树算法比现有缓解多值偏向的决策树算法具有较高的泛化性能.

关键词 基尼指数; 多值偏向; 决策树; 随机一致性; Gini index; bias to multi-value; decision tree; random consistency

摘要 当前面向标签噪声的鲁棒性学习通常依赖样本选择和标签修正两种策略,但是这两类方法均存在缺陷.基于样本选择的方法忽略了被过滤掉的样本中的有效信息,进而降低了模型的性能.基于标签修正的方法常使用自标签技术而引起模型的错误积累问题.对此,本文提出了一个集成样本选择、标签修正的联合训练框架.针对样本选择模块,本文设计了一种新的选择标准,通过在线选择的方法对所挑选的样本集合进行更新.相较于现有选择标准,本文提出的标准可保留更多边界样本,提升了模型对决策边界的学习性能,增强了模型的泛化性能.针对标签修正模块,本文提出了一种联合标签修正策略.相比于传统的自标签修正技术,该模块通过联合特征空间视角,对噪声样本进行多视角的标签修正,解决了传统自标签技术的错误累积问题.此外,本文引入对比学习正则化项,提升了标签修正效果和模型表征学习能力.本文方法在4个测试基准上取得了当前最好分类效果,验证了所提训练框架的有效性.

关键词 标签噪声学习; 样本选择; 标签修正; 对比学习; learning with noisy labels; sample selection; label correction; contrastive learning

摘要 因果效应定量描述变量间的影响作用,在许多现实任务中发挥着重要作用.辨识因果效应需要依赖已知的因果关系.一种确定因果关系的主流方法是引入干预信息,即通过人为干预某些因素而获取的信息.鉴于实际干预通常会带来巨大的成本,本文提出利用易于获取的专家知识替代干预,通过设计形如“在XX干预下,目标变量的值相较不干预时增大还是减小?”的问题并向专家咨询,确定因果关系,进而辨识因果效应.尽管每次专家返回的信息量少于干预信息,但通过一定次数的咨询,本文方法可以达到与使用干预信息方法相近的因果效应辨识效果.实验验证了上述结论.

关键词 因果效应辨识; 因果关系; 人机交互; 专家知识; causal effect identification; causal relation; human-in-the-loop; expert knowledge

摘要 与传统多类分类相比,多维分类中每个对象仍由一个示例(特征向量)表示,但同时与多个类别变量相关联,各类别变量基于异构类别空间刻画对象的语义.降维可以有效地缓解维度灾难并加速模型训练,已有多维分类研究均关注于设计性能更好的学习算法,尚未出现面向多维分类数据降维方面的工作.本文基于特征空间和语义空间的相关性,首次面向多维分类数据设计了一种名为SDeM的监督式线性降维方法.该方法使用Hilbert-Schmidt独立判据衡量两个空间的相关性,通过最大化投影特征空间与语义空间在该度量下的相关性确定投影矩阵.实验结果表明,相比于无监督式降维方法,SDeM所得降维特征更有利于多维分类方法取得更好的泛化性能.

关键词 机器学习; 多维分类; 降维; 空间相关性; Hilbert-Schmidt独立准则; machine learning; multi-dimensional classification; dimensionality reduction; dependence between spaces; Hilbert-Schmidt independence criterion

摘要 异常检测旨在发掘数据中异于寻常的模式,它在金融欺诈以及网络入侵检测等领域有着广泛的应用前景.本文主要研究了如何在结构复杂的图数据中进行异常检测,这涉及到挖掘异常的图结构信息以及节点属性信息.现有大部分工作通常采用一个两步的框架,即先对结构复杂的图数据进行表征学习生成图表征向量,然后再将该向量用于下游异常检测任务.由于分开训练的图表征学习任务与下游异常检测任务存在一定的语义鸿沟,这导致现有方法无法有效地挖掘出图中潜在的异常模式.因此,我们提出了一种基于自监督的端到端图数据异常检测框架SGAD,它可以有效地捕获图数据的语义信息并用于异常检测.具体来说, SGAD对无标签图数据进行了一系列变换用于构建自监督辅助任务,然后该自监督任务的输出结果可以直接用于异常检测.我们在多个公开数据集上进行了大量实验,实验结果表明本文提出的SGAD与现有方法相比获得了显著的效果提升.

关键词 图结构数据; 异常检测; 自监督学习; 图神经网络; 图表征学习; graph-structured data; anomaly detection; self-supervised learning; graph neural network; graph representation learning

摘要 联邦跨模态检索利用分散的客户端学习一个共享跨模态检索模型,从而降低集中大规模多模态训练数据时高昂的维护成本,解决分布式数据存储场景下跨模态检索中存在的数据隐私问题.然而现有的联邦跨模态检索方法大多依赖于大量的语义标注,这限制了检索模型在大规模应用场景下的扩展性.与之不同,本文提出一种无监督的联邦跨模态哈希检索模型,旨在保护客户端数据隐私的前提下,学习不依赖语义标注的跨模态检索模型.由于联邦环境中多模态数据分布不平衡,局部信息不足以让模型学习到整体数据上的模态间相似性,从而影响检索性能.为解决此问题,本文提出一个全局–局部模态间对比正则化方法,通过使用不同模态的全局哈希模型对单个模态的局部哈希模型进行约束,使局部哈希模型能够充分感知整体数据的相似性语义,从而加强对本地跨模态哈希学习过程的引导.同时,本文引入一种全局–局部模态内知识蒸馏策略来进一步地获取模态内特有的全局知识.5个基准跨模态检索数据集上的实验结果验证了本文提出方法的有效性.

关键词 联邦学习; 多模态学习; 无监督学习; 跨模态检索; 无监督跨模态哈希; federated learning; multimodal learning; unsupervised learning; cross-modal retrieval; unsupervised cross-modal Hashing

摘要 为了建模多维时间序列(multivariate time series, MTS)中复杂的时序依赖性与随机性,并实现对它的无监督异常检测这一工业机器或互联网基础设施设备质量管理中的关键任务,本文提出了一种堆叠式对抗变分循环神经网络(stacked adversarial variational recurrent neural network, SaVRNN).SaVRNN是一个层次化概率动态模型,它将层次化概率生成模型、堆叠式循环结构和多层对抗优化方式整合到一个联合贝叶斯框架下.具体来说, SaVRNN核心思想是利用堆叠循环结构捕捉多层次与长距离的时序相关性,利用层次化的概率生成操作建模多层的结构特性,进而实现对多维时间序列正常模式的学习,最后通过重构的概率来判断异常模式.为了实现模型的高效推理,本文创新性地提出了一种向上–向下对抗变分推理方案,实现对隐层变量后验的准确估计.针对多层对抗网络中难以实现生成器与判别器的更新平衡导致的SaVRNN训练困难的问题,本文基于条件传输(conditional transport,CT)提出了一个新的优化方法.最后,基于Sa VRNN的层次化结构,本文将多层似然进行融合以改进传统的异常检测策略.在两个公共数据集和一个实测数据集上显示所提方法在F1-score指标上实现了相比目前主流方法的更优性能,证明了所提模型在时间序列在线异常检测任务上的有效性.

关键词 异常检测; 多维时间序列; 对抗变分贝叶斯; 变分循环神经网络; 条件传输; anomaly detection; multivariate time series; adversarial variational Bayesian; variational RNN; conditional transport

摘要 区域同位模式挖掘(RCPM, regional co-location pattern mining)是为了发掘某个局部区域内存在的同位(co-location)模式,以发现在全局中无法发现的信息.传统的区域挖掘大多会采用明确界限的几何体框定同位模式产生的区域.但是现实中的各类区域可能是无明确边界的.另外,数据的分布情况作为区域的重要特征之一,也应该成为区域选择的因素.基于上述思考,本文引入密度峰值聚类(DPC, density peak-based clustering),提出新的密度度量函数,并结合模糊集理论与k近邻距离,设计了一个行之有效的并行区域同位模式挖掘算法.实验结果表明,利用本文方法挖掘到的结果更具有现实意义,并且并行化极大地提升了挖掘算法的效率.在真实数据上, 2线程下的加速比达到了1.89.

关键词 空间数据挖掘; 区域同位模式; 模糊密度峰值聚类; 并行算法; k近邻; spatial data mining; regional co-location pattern; fuzzy density peak clustering; parallel algorithm; k-nearest neighbor;

摘要 朴素贝叶斯由于其简单、高效和有效性成为十大数据挖掘算法之一.然而它要求的属性条件独立假设在实际应用中很难成立.为了削弱其属性条件独立假设,学者们提出了结构扩展、属性选择、属性加权、实例选择、实例加权5类改进方法.现有改进方法虽然在一定程度上降低了模型的偏差,但同时也提高了模型的方差,因而限制了模型的泛化性能.偏差–方差权衡是机器学习的核心原则之一,该原则要求模型具有较低偏差的同时,方差也要尽量低.如何在贝叶斯分类学习中引入偏差–方差权衡,同时获得较低的偏差和方差,从而进一步提升模型的泛化性能,是本文关注的重点.为此,本文首先理论分析了在贝叶斯分类学习中做偏差–方差权衡的可行性,探讨了保证可行性的关键因素;然后通过构建回归任务来学习贝叶斯分类模型的后验概率损失,调控关键因素的变化;最后提出了一种基于偏差–方差权衡的贝叶斯分类学习框架,并在提出的学习框架下重新实现了朴素贝叶斯及其各类改进模型.在大量经典的UCI标准数据集上的实验结果表明,现有的各类先进的贝叶斯分类模型在本文所提学习框架下的分类性能显著优于其原始性能.

关键词 朴素贝叶斯; 属性条件独立假设; 偏差 – 方差权衡; 后验概率损失; 学习框架; naive Bayes; attribute conditional independence assumption; bias–variance trade-off; posterior probability loss; learning framework;

摘要 深度神经网络(deep neural networks, DNNs)能否取得令人满意的性能很大程度上依赖于其神经网络架构.研究人员提出神经网络架构搜索(neural architecture search, NAS)来自动搜索神经网络的最优架构,现有的工作大多使用每秒浮点运算次数(floating point operations per second, FLOPs)来评价神经网络架构的实际效率,但是FLOPs和实际延迟并不是完全一致的.随着任务变得越来越复杂以及越来越多的硬件平台开始运行基于深度神经网络的算法,为硬件平台搜索高效的神经网络架构已成为亟待解决的难题.为了解决这一问题,本文提出了硬件感知的搜索空间构造方法,并借助考虑架构推断延迟的搜索策略,来搜索最优的神经网络架构.本文在可变换神经网络架构搜索方法(transformable architecture search, TAS)和图神经网络架构搜索方法 (graph neural architecture search, GraphNAS)上应用了该方法,提出了硬件可感知的可变换神经网络架构搜索方法 (hardwareaware transformable architecture search, HTAS)和硬件感知的图神经网络架构搜索方法 (hardwareaware graph neural architecture search, HGNAS).相比于现有方法,本文所提出的这两种算法在多种数据集上均针对不同类型目标硬件搜索出了更加高效的深度神经网络架构,从而证明了该方法的有效性.

关键词 深度学习; 神经网络架构搜索; 可变换神经网络架构搜索; 图神经网络架构搜索; 硬件感知; deep learning; neural architecture search; transformable architecture search; graph neural architecture search; hardware-aware;

摘要 模型剪枝被广泛应用于深度神经网络(deep neural network, DNN)的压缩与加速,为资源受限的终端设备部署DNN提供了技术支持.然而以往的剪枝研究缺乏对卷积核效力机制的有效评估,同时忽视了压缩空间中多种不可控因素的潜在干扰.因此本文提出一种卷积效力评价机制驱动的DNN全局剪枝方法,在特征图信息丰富度的基础上,以可视化的方式评估卷积核的效力值,优化了卷积核选择机制.同时探索了压缩空间中卷积结构的效力相关性,并在不同卷积层中使用不同的剪枝标准.首先,本文通过离散傅里叶变换(discrete Fourier transform, DFT)对特征图的信息度进行定量分析,并提出一种评估卷积核效力值的数据驱动方法.然后,基于卷积结构的相关性,引入损失因子以度量剪枝过程中剩余压缩单元的效力损失.最后根据层索引值的变化,在不同结构的功能层中自适应修正剪枝标准.实验表明,相比于最新的剪枝策略,本文的剪枝方法具有更佳的压缩性能和模型优化能力.

关键词 深度神经网络压缩; 模型剪枝; 重要度评估; 损失因子; 特征图信息度; deep neural network compression; model pruning; significance evaluation; loss factor; informativeness of feature map;

摘要 社交媒体谣言以极低的成本在互联网中被快速扩散,给社会带来显著的负面影响.传统的谣言检测模型主要考虑传播模式、写作风格、用户信用和世界知识等信息.然而,谣言的传播模式通常难以被捕捉,写作风格却容易被模仿,由元数据(如职业、家乡、学历、年龄等)构成的用户信息也容易被伪造.本文提出了一种新颖的知识驱动的图卷积神经网络谣言检测模型.该模型首先将社交媒体文本表示成一种语义–实体无向图结构,其中节点包含原社交媒体文本中的词语,利用世界知识库扩展的实体词语,以及利用语言知识库扩展的语义词语,边包含三类节点的6种有效组合.该语义–实体图可以有效地增强任意两种节点的共现性,从而丰富了原社交媒体文本的表示,从一定程度上缓解数据稀疏共现问题.语言知识利用了HowNet (义原和同义词)以及WordNet (上义词、下义词和同义词)分别对中英文社交媒体文本的主题词进行扩充.并成功地将语言知识和实体知识通过图卷积神经网络框架有效集成.在4个国际基准中英文谣言语料库上的实验结果和可视化分析表明了本文模型的有效性.

关键词 语言知识; 世界知识; 主题模型; 图卷积神经网络; 谣言检测; language knowledge; world knowledge; topic model; graph convolutional neural networks; rumor detection;

摘要 认知健康是大脑健康的重要组成部分,与个体全生命周期的正常发展密切相关.目前,非受限普适场景下的认知能力评估已成为实现认知障碍相关疾病早期预警的重要途径.然而,在医疗、家庭等不同计算场景下,因感知设备、认知评估流程等的不同,往往存在不同场景间评估模型相互适用难的问题.针对以上跨场景认知能力评估挑战,本文提出了一种参数自适应的细粒度迁移学习方法 PAFG-TL.PAFG-TL基于随机森林模型实现,通过参数自适应的个体分类器评估策略和领域自适应的决策树生长机制实现参数无关的个体分类器聚类评估和决策树细粒度进化生长.通过在临床认知评估和公开基准数据集上进行实验验证,证明了PAFG-TL方法在跨场景认知能力评估中的有效性.

关键词 参数自适应; 细粒度; 迁移学习; 跨场景; 认知能力评估; parameter adapative; fine-grained; transfer learning; cross-scenario; cognitive ability assessment;

摘要 联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.

关键词 联邦学习; 进化策略; 模型编码; 网络剪枝; 本地个性化; federated learning; evolution strategy; model encoding; network pruning; local customization;

摘要 联邦学习允许资源受限的边缘计算设备协作训练机器学习模型,同时能够保证数据不离开本地设备,但也面临着异构数据下全局模型收敛缓慢甚至偏离最优解的挑战.为解决上述问题,本文提出一种自适应个性化联邦学习(adaptive personalized federated learning, APFL)算法,在同时包括空间和时间维度的多任务学习框架下,考虑面向异构数据的联邦优化问题.首先, APFL采用参数分解策略,将待训练模型参数分解为全局共享参数和客户端特定参数,在提取所有客户端公共知识的同时实现针对每个客户端的个性化建模.进一步地, APFL将每个客户端上执行的局部优化构建为顺序多任务学习,通过对全局共享参数的更新施加弹性权重巩固(elastic weight consolidation, EWC)惩罚,实现了全局共享模型中重要参数的记忆保留和非重要参数的快速学习.多个联邦基准数据集上的对比实验验证了本文方法的有效性和优越性.

关键词 联邦学习; 边缘计算; 异构数据; 多任务学习; 持续学习; 参数分解; 个性化; federated learning; edge computing; heterogeneous data; multi-task learning; continual learning; parameter decomposition; personalization;

摘要 从概率框架的角度来看,生成模型首先由数据学习联合概率分布,然后再求出条件概率分布,通常具有更快的收敛速度;而判别模型由数据直接学习条件概率分布,往往具有更高的准确率.生成–判别混合模型作为二者的有效结合,同时集成了它们的优点.然而,现有方法在构建混合模型时,需要将原始特征划分为两个独立的特征空间,分别用于训练生成模型和判别模型.特征划分不仅提升了模型的时间复杂度,还削弱了原始特征空间的表达能力.为了解决这一问题,本文提出了一种基于特征增广的生成–判别混合模型构建方法.该方法首先利用生成模型学习条件概率分布,然后将学到的条件概率分布作为新特征增广到原始特征空间中,最后在增广后的特征空间中训练判别模型并预测最终的分类结果.该方法利用特征增广的思想做模型混合,无需对原始特征进行划分,具有较低的时间复杂度,同时还增强了原始特征空间的表达能力.在36个经典UCI标准数据集上的实验结果表明,所提方法不仅具有有效性和通用性,还遵循了偏差–方差权衡原则.

关键词 生成模型; 判别模型; 特征增广; 条件概率分布; 偏差–方差权衡; generative model; discriminative model; feature augmentation; conditional probability distribution; bias-variance trade-off;

摘要 知识图谱嵌入是知识图谱研究中的一项重要课题.它旨在根据已观测到的三元组,学习知识图谱中实体与关系的低维向量表示.知识图谱嵌入在许多下游任务中发挥了巨大作用,例如知识图谱补全、三元组分类.如今,深度模型利用神经网络强大的非线性拟合能力,在知识图谱嵌入领域展示出了优异的性能.然而,现有的大多数方法忽略了实体与关系之间的多尺度特征交互, InceptionE是目前唯一考虑到了多尺度交互特征的模型,但由于大量的计算开销导致其很难进行训练.本文提出了一种全新的知识图谱嵌入模型MDCE,它使用多尺度空洞卷积核在不同的尺度空间捕捉丰富的交互特征.同时, MDCE相比于InceptionE方法的计算开销更小.我们在多个基准数据集上进行了大量实验.在链接预测任务上的结果表明, MDCE不仅在性能方面超过了已有的工作,而且更加高效、稳健.

关键词 知识图谱; 知识图谱嵌入; 深层模型; 多尺度特征; 链接预测; 人工智能; knowledge graph; knowledge graph embedding; deep model; multi-scale feature; link prediction; artificial intelligence;

摘要 不完全多视图聚类是通过结合多视图数据的异构不完全特征来获得数据本征结构,从而提高聚类性能的一种学习范式.在实际应用中,各个视图除了缺失某些完整样本外,还会受到缺失值与异常值的影响,使得大部分传统的不完全多视图聚类方法失效.为解决上述问题,本文提出一种基于独立自表达学习的不完全多视图聚类方法.该方法通过自表达重构,补全缺失的特征的同时学习视图独有的自表达矩阵,然后为自表达矩阵添加低秩约束,更好地挖掘本征结构,并通过引入希尔伯特–施密特独立性准则来衡量不同视图间的差异性.多个数据集上的实验结果表明,所提方法在大多数情况下能取得较对比方法更优的聚类结果.

关键词 不完全多视图聚类; 特征任意缺失; 自表达; 差异性; incomplete multi-view clustering; arbitrary missing feature; self-presentation; diversity;

摘要 概率模型为机器学习处理广泛存在的不确定性提供了强大的工具.概率编程利用计算机程序表示概率模型,支持采样和以任意观察值为条件进行的概率推断.长期以来,概率程序中的依赖关系往往是线性或广义线性的,许多成功的模型和推断算法往往都依赖于这一简化.然而,这也限制了概率程序的表达能力和灵活性.可微概率编程允许构建具有参数化的非线性依赖关系(如神经网络)的概率程序,并使用基于梯度的方法从数据中学习未知参数.这种编程范式容易扩展,极大地避免了繁琐的模型选择过程,且允许端到端地部署概率模型.本文介绍珠算(ZhuSuan),一种开源的可微概率编程库,并以此为例,探讨可微概率编程系统的设计与实现.

关键词 概率模型; 概率编程; 贝叶斯推断; 变分推断; 深度学习; probabilistic models; probabilistic programming; Bayesian inference; variational inference; deep learning;

摘要 强化学习(reinforcement learning, RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我们更倾向于以多智能体强化学习(multi-agent reinforcement learning, MARL)为技术手段,应对现实的复杂系统.近十年来,多智能体系统(multi-agent system, MAS)和强化学习的结合日渐紧密,逐渐形成并丰富了多智能体强化学习这个研究方向.回顾MARL的相关工作,我们发现研究者们大致从学习框架的讨论、联合动作学习,以及基于通信的MARL这3个角度解决MARL的问题.而本文重点调研基于通信的MARL的工作.首先介绍选取基于通信的MARL进行讨论的原因,然后列举出不同性质的多智能体系统下的代表性工作.希望本文能够为MARL的研究者提供参考,进而提出能够解决实际问题的MAS方法.

关键词 强化学习; 多智能体系统; 部分可观测环境; 多智能体通信; 协同控制; reinforcement learning; multi-agent system; partially observable environment; multi-agent communication; coordinated control;

摘要 随着互联网和移动计算等技术的发展,人们的在线行为产生了越来越多的数据,想要从海量数据中挑选出用户可能喜欢的物品,推荐系统不可或缺.然而传统的推荐算法需要将用户数据收集到服务端才能构建模型,这会泄露用户隐私.最近,谷歌针对机器学习任务中需要收集用户数据才能进行建模的问题,提出了一种新的学习范式——联邦学习.联邦学习与推荐系统相结合,使得联邦推荐算法能够在模型构建过程中,始终将用户数据保留在客户端本地,从而保护了用户隐私.本文主要对联邦学习与推荐系统相结合的研究工作进行综述,并从架构设计、系统的联邦化和隐私保护技术的应用3个角度重点分析联邦推荐算法的研究进展.最后,对基于联邦学习的推荐系统可研究的方向进行展望.

关键词 推荐系统; 联邦学习; 隐私保护; 联邦推荐; 协同过滤; recommender systems; federated learning; privacy protection; federated recommendation; collaborative filtering;

摘要 卷积神经网络目前在人工智能多个领域均取得了不同程度的进展.卷积计算是基于参数共享的滑窗机制,这导致卷积神经网络更多地关注特征信息的局部关系,对全局关系的建模能力有限.局部关系和全局关系对特征的表达均具有重要的作用.为此,本文聚焦于如何对特征信息的局部–全局关系进行构建并有效耦合,从而挖掘更加丰富的特征信息,提高特征的判别性.本文提出了局部–全局关系耦合模块,该模块是由特征提取、基于深度卷积(depth-wise convolution, DWConv)的局部关系构建分支、基于多头自注意力机制(mutli-head self-attention, MHSA)的全局关系构建分支和基于点向卷积(point-wise convolution, PWConv)的关系耦合4部分组成.基于此模块,本文构建了编解码结构的局部–全局关系耦合神经网络,该网络可以对特征信息的局部–全局关系进行建模,增强特征信息的表征能力,进而提升模型的性能.为验证所提算法的有效性,本文在低照度图像增强任务上,使用基准数据集与其他算法进行了实验对比.实验结果表明,本文所提出的方法取得了较好的图像增强结果,优于当前先进的图像增强方法.最后,本文通过消融实验和扩展实验从多个角度进一步验证了有效耦合局部–全局关系的重要性和可扩展性.

关键词 低照度图像增强; 局部–全局关系; 计算机视觉; 卷积神经网络; 深度学习; low-light image enhancement; local-global relationship; computer vision; convolution neural network; deep learning;

摘要 卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入到卷积核剪枝的过程中,在每次训练迭代中根据重要性和压缩率将卷积核分成两类并对它们分别用不同的更新策略.对于冗余参数,此策略将目标函数反传的梯度进行截流,仅使其权重逐渐衰减直至为零.本文在VGGNet和ResNet两种网络框架上对此剪枝算法进行验证.结果表明:本算法不仅能够在分类精度、计算量、参数量和任务相关特征的保留程度上优于当前主流剪枝算法,而且在高压缩率情况下表现优越.

关键词 卷积神经网络; 压缩; 剪枝; 任务相关特征; 梯度流; convolutional neural networks; compressing; pruning; features related to task; gradient flow;

摘要 群体智能是自然界普遍存在的现象,受到了国内外研究者的广泛关注.网络和人工智能技术的高速发展,使得大规模群体在网络上通过个体智慧激发和群体智慧汇聚形成超越个体能力的群体智能成为可能.随之而来,如何认知和形成这样的群体智能系统成为了研究的热点.本文将在广义群体智能的概念体系之下,探索群体智能系统的度量理论和方法,以此来促进对群体智能形成机理的更深层认知.本文提出了群体智能系统的基本特性以及其形成的激发汇聚建模,指出群体智能系统实质上是一类复杂非线性动力学系统,包含微观个体激发、宏观群体协作、全局群智汇聚3个核心动力学属性.并以此为基础,讨论了群体智能系统群体熵度量所应满足的基本性质.最后以图的群体化搜索为例,说明了群体的激发和汇聚过程,以及在此过程中如何通过群体熵来度量群体行为的变化,验证了本文提出的群体熵度量思想的有效性.

关键词 群体智能系统; 动力学模型; 群体熵; 度量; 激发; 汇聚; crowd intelligence system; dynamic model; crowd entropy; measurement; incentive; convergence;

摘要 基于间隔的聚类是一类经典的聚类算法,此类算法假设聚类结构能通过引入监督学习中的间隔来确定.即一个好的聚类结果,当以其簇标记作为类别标记进行监督学习时,所得分类器产生的关于间隔的目标物理量也同时达到最优.目前最为有效的间隔物理量是间隔分布,其基于最新的间隔理论,取得了比优化最小间隔更好的效果.然而在现实聚类任务中,我们往往还能获得一些额外的监督信息,例如两两样本之间的"必连"约束和"勿连"约束,此时优化间隔分布是否还有效尚未可知.对此,本文提出面向半监督聚类的最优间隔分布学习机(ODMSSC),对该问题进行初步探索. ODMSSC对应的形式化是一个混合整数规划,我们将其放松成一个鞍点问题,并提出一种高效的交替优化方法进行求解.最终通过真实数据集上的实验,我们验证了所提算法的有效性.

关键词 半监督聚类; 约束聚类; 最优间隔分布学习机; 间隔分布; 间隔; semi-supervised clustering; constrained clustering; optimal margin distribution machine; margin distribution; margin;

摘要 无监督异常检测(unsupervised anomaly detection, UAD)旨在检测任何未见过的偏离预期模式或正常分布的数据,由于其学习过程不依赖对罕见异常样本的获取,因此在现实动态环境下备受青睐.然而,在现实场景中,目标任务往往会随时间动态变化,这要求模型能够连续执行多个不同的UAD任务,确保在仅有当前任务正常数据的前提下,实现对所有见过任务的异常检测.本文旨在研究这一问题,尝试从互信息角度,提出一种新的连续UAD (CUAD)算法.具体而言,我们针对原始目标依赖过往任务原始数据和异常数据的问题,给出基于信息论的损失函数,并对其进行近似优化.据此,我们构建出来的深度编码器模型既能连续执行不同的UAD任务,又能有效应对连续学习带来的灾难性遗忘问题.最后,我们在多个标准数据集上的实验验证了所提出方法的优越性.

关键词 异常检测; 无监督; 灾难性遗忘; 连续学习; 信息论; anomaly detection; unsupervised; catastrophic forgetting; continual learning; information theory;