计算机 人工智能 论文 Website Google Scholar

基于进化策略的自适应联邦学习算法

Adaptive federated learning algorithm based on evolution strategies

公茂果, 高原, 王炯乾, 张元侨, 王善峰, 谢飞
中国科学: 信息科学, 2023, 53(3): 437-453
摘要 联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.
关键词 联邦学习; 进化策略; 模型编码; 网络剪枝; 本地个性化; federated learning; evolution strategy; model encoding; network pruning; local customization;

计算机 人工智能 论文 Website Google Scholar

面向异构数据的自适应个性化联邦学习——一种基于参数分解和持续学习的方法

Adaptive personalized federated learning for heterogeneous data: a method based on parameter decomposition and continual learning

倪宣明, 沈鑫圆, 张海
中国科学: 信息科学, 2022, 52(12): 2306-2320
摘要 联邦学习允许资源受限的边缘计算设备协作训练机器学习模型,同时能够保证数据不离开本地设备,但也面临着异构数据下全局模型收敛缓慢甚至偏离最优解的挑战.为解决上述问题,本文提出一种自适应个性化联邦学习(adaptive personalized federated learning, APFL)算法,在同时包括空间和时间维度的多任务学习框架下,考虑面向异构数据的联邦优化问题.首先, APFL采用参数分解策略,将待训练模型参数分解为全局共享参数和客户端特定参数,在提取所有客户端公共知识的同时实现针对每个客户端的个性化建模.进一步地, APFL将每个客户端上执行的局部优化构建为顺序多任务学习,通过对全局共享参数的更新施加弹性权重巩固(elastic weight consolidation, EWC)惩罚,实现了全局共享模型中重要参数的记忆保留和非重要参数的快速学习.多个联邦基准数据集上的对比实验验证了本文方法的有效性和优越性.
关键词 联邦学习; 边缘计算; 异构数据; 多任务学习; 持续学习; 参数分解; 个性化; federated learning; edge computing; heterogeneous data; multi-task learning; continual learning; parameter decomposition; personalization;

计算机 人工智能 论文 Website Google Scholar

基于特征增广的生成—判别混合模型构建方法

A feature augmentation-based method for constructing generative-discriminative hybrid models

张文钧, 蒋良孝, 张欢
中国科学: 信息科学, 2022, 52(10): 1792-1807
摘要 从概率框架的角度来看,生成模型首先由数据学习联合概率分布,然后再求出条件概率分布,通常具有更快的收敛速度;而判别模型由数据直接学习条件概率分布,往往具有更高的准确率.生成–判别混合模型作为二者的有效结合,同时集成了它们的优点.然而,现有方法在构建混合模型时,需要将原始特征划分为两个独立的特征空间,分别用于训练生成模型和判别模型.特征划分不仅提升了模型的时间复杂度,还削弱了原始特征空间的表达能力.为了解决这一问题,本文提出了一种基于特征增广的生成–判别混合模型构建方法.该方法首先利用生成模型学习条件概率分布,然后将学到的条件概率分布作为新特征增广到原始特征空间中,最后在增广后的特征空间中训练判别模型并预测最终的分类结果.该方法利用特征增广的思想做模型混合,无需对原始特征进行划分,具有较低的时间复杂度,同时还增强了原始特征空间的表达能力.在36个经典UCI标准数据集上的实验结果表明,所提方法不仅具有有效性和通用性,还遵循了偏差–方差权衡原则.
关键词 生成模型; 判别模型; 特征增广; 条件概率分布; 偏差–方差权衡; generative model; discriminative model; feature augmentation; conditional probability distribution; bias-variance trade-off;

计算机 人工智能 论文 Website Google Scholar

基于多尺度空洞卷积的知识图谱表示方法

Multi-scale dilated convolutional network for knowledge graph embedding

杜昊桐, 王震, 聂弘毅, 姚权铭, 李学龙
中国科学: 信息科学, 2022, 52(7): 1204-1220
摘要 知识图谱嵌入是知识图谱研究中的一项重要课题.它旨在根据已观测到的三元组,学习知识图谱中实体与关系的低维向量表示.知识图谱嵌入在许多下游任务中发挥了巨大作用,例如知识图谱补全、三元组分类.如今,深度模型利用神经网络强大的非线性拟合能力,在知识图谱嵌入领域展示出了优异的性能.然而,现有的大多数方法忽略了实体与关系之间的多尺度特征交互, InceptionE是目前唯一考虑到了多尺度交互特征的模型,但由于大量的计算开销导致其很难进行训练.本文提出了一种全新的知识图谱嵌入模型MDCE,它使用多尺度空洞卷积核在不同的尺度空间捕捉丰富的交互特征.同时, MDCE相比于InceptionE方法的计算开销更小.我们在多个基准数据集上进行了大量实验.在链接预测任务上的结果表明, MDCE不仅在性能方面超过了已有的工作,而且更加高效、稳健.
关键词 知识图谱; 知识图谱嵌入; 深层模型; 多尺度特征; 链接预测; 人工智能; knowledge graph; knowledge graph embedding; deep model; multi-scale feature; link prediction; artificial intelligence;

计算机 人工智能 论文 Website Google Scholar

基于独立自表达学习的不完全多视图聚类

Incomplete multi-view clustering via independent self-representation learning

诸葛文章, 范瑞东, 罗廷金, 陶红, 侯臣平
中国科学: 信息科学, 2022, 52(7): 1186-1203
摘要 不完全多视图聚类是通过结合多视图数据的异构不完全特征来获得数据本征结构,从而提高聚类性能的一种学习范式.在实际应用中,各个视图除了缺失某些完整样本外,还会受到缺失值与异常值的影响,使得大部分传统的不完全多视图聚类方法失效.为解决上述问题,本文提出一种基于独立自表达学习的不完全多视图聚类方法.该方法通过自表达重构,补全缺失的特征的同时学习视图独有的自表达矩阵,然后为自表达矩阵添加低秩约束,更好地挖掘本征结构,并通过引入希尔伯特–施密特独立性准则来衡量不同视图间的差异性.多个数据集上的实验结果表明,所提方法在大多数情况下能取得较对比方法更优的聚类结果.
关键词 不完全多视图聚类; 特征任意缺失; 自表达; 差异性; incomplete multi-view clustering; arbitrary missing feature; self-presentation; diversity;

计算机 人工智能 论文 Website Google Scholar

珠算: 可微概率编程库的设计与实现

ZhuSuan: design and implementation of differentiable probabilistic programming libraries

石佳欣, 陈键飞, 朱军
中国科学: 信息科学, 2022, 52(5): 804-821
摘要 概率模型为机器学习处理广泛存在的不确定性提供了强大的工具.概率编程利用计算机程序表示概率模型,支持采样和以任意观察值为条件进行的概率推断.长期以来,概率程序中的依赖关系往往是线性或广义线性的,许多成功的模型和推断算法往往都依赖于这一简化.然而,这也限制了概率程序的表达能力和灵活性.可微概率编程允许构建具有参数化的非线性依赖关系(如神经网络)的概率程序,并使用基于梯度的方法从数据中学习未知参数.这种编程范式容易扩展,极大地避免了繁琐的模型选择过程,且允许端到端地部署概率模型.本文介绍珠算(ZhuSuan),一种开源的可微概率编程库,并以此为例,探讨可微概率编程系统的设计与实现.
关键词 概率模型; 概率编程; 贝叶斯推断; 变分推断; 深度学习; probabilistic models; probabilistic programming; Bayesian inference; variational inference; deep learning;

计算机 人工智能 评述 Website Google Scholar

基于通信的多智能体强化学习进展综述

Review of the progress of communication-based multi-agent reinforcement learning

王涵, 俞扬, 姜远
中国科学: 信息科学, 2022, 52(5): 742-764
摘要 强化学习(reinforcement learning, RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我们更倾向于以多智能体强化学习(multi-agent reinforcement learning, MARL)为技术手段,应对现实的复杂系统.近十年来,多智能体系统(multi-agent system, MAS)和强化学习的结合日渐紧密,逐渐形成并丰富了多智能体强化学习这个研究方向.回顾MARL的相关工作,我们发现研究者们大致从学习框架的讨论、联合动作学习,以及基于通信的MARL这3个角度解决MARL的问题.而本文重点调研基于通信的MARL的工作.首先介绍选取基于通信的MARL进行讨论的原因,然后列举出不同性质的多智能体系统下的代表性工作.希望本文能够为MARL的研究者提供参考,进而提出能够解决实际问题的MAS方法.
关键词 强化学习; 多智能体系统; 部分可观测环境; 多智能体通信; 协同控制; reinforcement learning; multi-agent system; partially observable environment; multi-agent communication; coordinated control;

计算机 人工智能 评述 Website Google Scholar

基于联邦学习的推荐系统综述

Survey of recommender systems based on federated learning

梁锋, 羊恩跃, 潘微科, 杨强, 明仲
中国科学: 信息科学, 2022, 52(5): 713-741
摘要 随着互联网和移动计算等技术的发展,人们的在线行为产生了越来越多的数据,想要从海量数据中挑选出用户可能喜欢的物品,推荐系统不可或缺.然而传统的推荐算法需要将用户数据收集到服务端才能构建模型,这会泄露用户隐私.最近,谷歌针对机器学习任务中需要收集用户数据才能进行建模的问题,提出了一种新的学习范式——联邦学习.联邦学习与推荐系统相结合,使得联邦推荐算法能够在模型构建过程中,始终将用户数据保留在客户端本地,从而保护了用户隐私.本文主要对联邦学习与推荐系统相结合的研究工作进行综述,并从架构设计、系统的联邦化和隐私保护技术的应用3个角度重点分析联邦推荐算法的研究进展.最后,对基于联邦学习的推荐系统可研究的方向进行展望.
关键词 推荐系统; 联邦学习; 隐私保护; 联邦推荐; 协同过滤; recommender systems; federated learning; privacy protection; federated recommendation; collaborative filtering;

计算机 人工智能 论文 Website Google Scholar

局部-全局关系耦合的低照度图像增强

Local-global coupling relationship based low-light image enhancement

王克琪, 钱宇华, 梁吉业, 刘畅, 黄琴, 陈路, 贾洁茹
中国科学: 信息科学, 2022, 52(3): 443-460
摘要 卷积神经网络目前在人工智能多个领域均取得了不同程度的进展.卷积计算是基于参数共享的滑窗机制,这导致卷积神经网络更多地关注特征信息的局部关系,对全局关系的建模能力有限.局部关系和全局关系对特征的表达均具有重要的作用.为此,本文聚焦于如何对特征信息的局部–全局关系进行构建并有效耦合,从而挖掘更加丰富的特征信息,提高特征的判别性.本文提出了局部–全局关系耦合模块,该模块是由特征提取、基于深度卷积(depth-wise convolution, DWConv)的局部关系构建分支、基于多头自注意力机制(mutli-head self-attention, MHSA)的全局关系构建分支和基于点向卷积(point-wise convolution, PWConv)的关系耦合4部分组成.基于此模块,本文构建了编解码结构的局部–全局关系耦合神经网络,该网络可以对特征信息的局部–全局关系进行建模,增强特征信息的表征能力,进而提升模型的性能.为验证所提算法的有效性,本文在低照度图像增强任务上,使用基准数据集与其他算法进行了实验对比.实验结果表明,本文所提出的方法取得了较好的图像增强结果,优于当前先进的图像增强方法.最后,本文通过消融实验和扩展实验从多个角度进一步验证了有效耦合局部–全局关系的重要性和可扩展性.
关键词 低照度图像增强; 局部–全局关系; 计算机视觉; 卷积神经网络; 深度学习; low-light image enhancement; local-global relationship; computer vision; convolution neural network; deep learning;

计算机 人工智能 论文 Website Google Scholar

基于特征归因和泰勒展开引导重要度评价的梯度流剪枝

Gradient flow pruning based on the evaluation of the importance of characteristic attribution and Taylor-guidance

高畅, 王家祺, 景丽萍, 于剑
中国科学: 信息科学, 2022, 52(3): 430-442
摘要 卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入到卷积核剪枝的过程中,在每次训练迭代中根据重要性和压缩率将卷积核分成两类并对它们分别用不同的更新策略.对于冗余参数,此策略将目标函数反传的梯度进行截流,仅使其权重逐渐衰减直至为零.本文在VGGNet和ResNet两种网络框架上对此剪枝算法进行验证.结果表明:本算法不仅能够在分类精度、计算量、参数量和任务相关特征的保留程度上优于当前主流剪枝算法,而且在高压缩率情况下表现优越.
关键词 卷积神经网络; 压缩; 剪枝; 任务相关特征; 梯度流; convolutional neural networks; compressing; pruning; features related to task; gradient flow;

计算机 人工智能 论文 Website Google Scholar

群体智能系统的动力学模型与群体熵度量

Dynamic model and crowd entropy measurement of crowd intelligence system

罗杰, 姜鑫, 郭炳晖, 郑宏威, 吴文峻, 吕卫锋
中国科学: 信息科学, 2022, 52(1): 99-110
摘要 群体智能是自然界普遍存在的现象,受到了国内外研究者的广泛关注.网络和人工智能技术的高速发展,使得大规模群体在网络上通过个体智慧激发和群体智慧汇聚形成超越个体能力的群体智能成为可能.随之而来,如何认知和形成这样的群体智能系统成为了研究的热点.本文将在广义群体智能的概念体系之下,探索群体智能系统的度量理论和方法,以此来促进对群体智能形成机理的更深层认知.本文提出了群体智能系统的基本特性以及其形成的激发汇聚建模,指出群体智能系统实质上是一类复杂非线性动力学系统,包含微观个体激发、宏观群体协作、全局群智汇聚3个核心动力学属性.并以此为基础,讨论了群体智能系统群体熵度量所应满足的基本性质.最后以图的群体化搜索为例,说明了群体的激发和汇聚过程,以及在此过程中如何通过群体熵来度量群体行为的变化,验证了本文提出的群体熵度量思想的有效性.
关键词 群体智能系统; 动力学模型; 群体熵; 度量; 激发; 汇聚; crowd intelligence system; dynamic model; crowd entropy; measurement; incentive; convergence;

计算机 人工智能 论文 Website Google Scholar

面向半监督聚类的最优间隔分布学习机

Optimal margin distribution machine for semi-supervised clustering

张腾, 黎铭, 金海
中国科学: 信息科学, 2022, 52(1): 86-98
摘要 基于间隔的聚类是一类经典的聚类算法,此类算法假设聚类结构能通过引入监督学习中的间隔来确定.即一个好的聚类结果,当以其簇标记作为类别标记进行监督学习时,所得分类器产生的关于间隔的目标物理量也同时达到最优.目前最为有效的间隔物理量是间隔分布,其基于最新的间隔理论,取得了比优化最小间隔更好的效果.然而在现实聚类任务中,我们往往还能获得一些额外的监督信息,例如两两样本之间的"必连"约束和"勿连"约束,此时优化间隔分布是否还有效尚未可知.对此,本文提出面向半监督聚类的最优间隔分布学习机(ODMSSC),对该问题进行初步探索. ODMSSC对应的形式化是一个混合整数规划,我们将其放松成一个鞍点问题,并提出一种高效的交替优化方法进行求解.最终通过真实数据集上的实验,我们验证了所提算法的有效性.
关键词 半监督聚类; 约束聚类; 最优间隔分布学习机; 间隔分布; 间隔; semi-supervised clustering; constrained clustering; optimal margin distribution machine; margin distribution; margin;

计算机 人工智能 论文 Website Google Scholar

连续无监督异常检测

Continual unsupervised anomaly detection

倪一鸣, 陈松灿
中国科学: 信息科学, 2022, 52(1): 75-85
摘要 无监督异常检测(unsupervised anomaly detection, UAD)旨在检测任何未见过的偏离预期模式或正常分布的数据,由于其学习过程不依赖对罕见异常样本的获取,因此在现实动态环境下备受青睐.然而,在现实场景中,目标任务往往会随时间动态变化,这要求模型能够连续执行多个不同的UAD任务,确保在仅有当前任务正常数据的前提下,实现对所有见过任务的异常检测.本文旨在研究这一问题,尝试从互信息角度,提出一种新的连续UAD (CUAD)算法.具体而言,我们针对原始目标依赖过往任务原始数据和异常数据的问题,给出基于信息论的损失函数,并对其进行近似优化.据此,我们构建出来的深度编码器模型既能连续执行不同的UAD任务,又能有效应对连续学习带来的灾难性遗忘问题.最后,我们在多个标准数据集上的实验验证了所提出方法的优越性.
关键词 异常检测; 无监督; 灾难性遗忘; 连续学习; 信息论; anomaly detection; unsupervised; catastrophic forgetting; continual learning; information theory;

计算机 人工智能 论文 Website Google Scholar

基于单簇聚类的非对齐多视图异常检测算法

Non-aligned multi-view anomaly detection algorithms based on one-cluster clustering

史小艳, 陈松灿
中国科学: 信息科学, 2021, 51(12): 2037-2052
摘要 多视图数据广泛存在于现实,而异常也不可避免地伴随其中.现有的多视图异常检测方法针对的都是对齐的多视图场景,无法胜任更具挑战的非对齐多视图场景.为此,本文提出了4种基于单簇可能性C–均值(possibilistic C-means, PCM),即P1M (PCM, C=1)算法的非对齐多视图异常检测算法.不同于对齐的多视图场景,非对齐特性造成了样本在各视图间对应关系的缺失,以致我们无法利用在对齐场景下示例级的局部关键信息.为此,我们设法通过各视图的全局信息进行学习.本文的关键之处在于借助交替优化法为各视图分别学得一个变换矩阵,用其将各视图投影到一个公共子空间,进而在该公共子空间中用P1M学得所有训练数据对目标类的隶属度,并设置隶属度阈值,从而实现异常检测.在多个UCI数据集上的实验结果表明,本文方法能够有效应对非对齐多视图场景中的异常检测.
关键词 可能性C–均值; 非对齐多视图; 异常检测; 公共子空间; 单簇; possibilistic C-means; non-aligned multi-view; anomaly detection; the common subspace; one-cluster;

计算机 人工智能 观点与争鸣 Website Google Scholar

人工智能的10个重大数理基础问题

Ten fundamental problems for artificial intelligence: mathematical and physical aspects

徐宗本
中国科学: 信息科学, 2021, 51(12): 1967-1978
摘要 本文提出并阐述人工智能研究与应用中亟待解决的10个重大数理基础问题:(1)大数据的统计学基础;(2)大数据计算的基础算法;(3)数据空间的结构与特性;(4)深度学习的数学机理;(5)非正规约束下的最优输运;(6)如何学习学习方法论;(7)如何突破机器学习的先验假设;(8)机器学习的自动化;(9)知识推理与数据学习的融合;(10)智能寻优与人工智能芯片问题.
关键词 人工智能; 数理基础; 统计学; 大数据算法; 数据空间; 深度学习; 最优传输; 学习学习方法论; 机器学习假设; 机器学习自动化; AI芯片; artificial intelligence; mathematical and physical foundation of AI; statistics; big data algorithms; data spaces; deep learning; optimal transportation problem; simulate learning methodology; hypotheses on machine learning; machine learning automation; AI chips;

计算机 人工智能 论文 Website Google Scholar

基于隐式网络和显式网络相似性学习的零样本意图识别

Similarity learning with implicit-network and explicit-network for zero-shot intent detection

孙鹏飞, 欧阳亚文, 戴新宇, 张文明
中国科学: 信息科学, 2021, 51(11): 1853-1866
摘要 意图识别是对话系统的一个重要组成部分.现有的工作主要集中在使用充足的标记数据进行意图识别.然而,这些方法不能识别训练数据中不存在的意图.为了解决这个问题,我们提出了一种基于隐式网络和显式网络的相似性学习模型,用于零样本意图识别,该模型能够从词级和句子级学习用户话术和意图描述之间的相似性.为了增强意图的表示,我们引入槽位类型作为意图描述.并依据表达方式的不同将意图分为显式意图和隐式意图,分别从词级和句子级构建显式网络和隐式网络.同时,为了更好地结合这两部分信息,我们还设计了关系层来融合不同层级的信息.在两个基准数据集上的实验结果表明,我们的模型明显优于现有的最先进的模型,并展示了从词级和句子级同时学习相似性的有效性.
关键词 零样本意图识别; 隐式网络; 显式网络; 关系层; 选择门; zero-shot intent detection; implicit network; explicit network; relation layer; switch gate;

计算机 人工智能 论文 Website Google Scholar

三元空间大数据网络关联表征

Cyber-physical-human big data correlational representation

朱文武, 王鑫
中国科学: 信息科学, 2021, 51(11): 1802-1839
摘要 三元空间是由信息空间、物理世界、人类社会所构成,三元空间大数据由信息空间所产生的互联网数据、物理空间所产生的物联网数据和人类社会空间所产生的数据所构成.本文介绍了三元空间大数据的关联复杂性,并针对三元空间大数据关联复杂性这一本质困难,提出解决三元空间异构数据的关联表征这一关键科学问题.传统信息科学往往依据既有的先验信息进行特征表达,并在先验表征空间内分析信息语义及其关联关系.然而,在表征层面所引入的先验偏见,极大限制了信息理解和关联的广度和深度,使得蕴含于三元空间大数据之中的超出人类现有经验的知识难以被发掘.为解决上述难题,本文提出将三元空间数据关联关系通过拓扑图理论表征成网络或图以实现三元空间大数据的关联表征和融合分析.具体地,利用数据驱动的深层网络表征对三元空间异构数据的弱先验关联关系进行深度建模以保持原始数据间的异构关联关系,通过对非线性、非凸异构数据关联表达进行深度解离化计算以提升深层关联表征的鲁棒性与可解释性,借助拓扑图理论挖掘三元空间大数据中蕴含的异构关联关系以达到对三元空间异构关系的精准刻画.最后,本文从知识与数据双驱动、自适应,以及可推理三元空间大数据分析的角度对三元空间大数据关联表征的未来研究方向进行展望.
关键词 三元空间; 大数据; 关联表征; 深层表征; 网络表征; cyber-physical-human space; big data; correlational representation; deep representation; network representation;

计算机 人工智能 论文 Website Google Scholar

基于自适应对偶图与非凸约束的嵌入特征选择

Adaptive dual graphs and non-convex constraint based embedded feature selection

尚荣华, 徐开明, 焦李成
中国科学: 信息科学, 2021, 51(10): 1640-1657
摘要 在传统的特征选择方法中,为了保证行的稀疏性,经常采用l_1范数或者l_(2,1)范数来约束评价矩阵.作为凸正则项,它们在多数情况下可以发挥良好的作用.然而在处理冗余性特征时,一些非凸正则项有望表现出更好的性能.借助自适应流形学习与非凸约束的优点,本文提出了一种新的算法,叫做基于自适应对偶图与非凸约束的嵌入特征选择(adaptive dual graphs and non-convex constraint based embedded feature selection, DNEFS).借助稀疏回归框架, DNEFS同时保留了数据空间与特征空间的流形结构信息.通过运用信息熵原理,对偶图中的局部流形信息可以自适应的学习与更新,因此可以获得更好的特征选择效果.不同于传统的凸约束,本文引入了一个新的非凸正则项,这一正则项由l_(2,1)范数与Frobenius范数的差分构成,并记为l_(2,1-2)范数.通过使用这一新正则项, DNEFS可以更好地处理冗余性的特征.本文运用交替迭代更新的方式来优化目标函数,并在6个基准数据集上测试DNEFS算法的性能.通过与6种对比算法做对比,实验结果表明提出的DNEFS优于对比算法的性能.
关键词 对偶图; 流形结构; 非凸约束; 嵌入; 特征选择; dual graphs; manifold structure; non-convex constraint; embedded; feature selection;

计算机 人工智能 论文 Website Google Scholar

基于本质自表示的多视角子空间聚类

Intrinsic self-representation for multi-view subspace clustering

于晓, 刘慧, 吴彦, 张彩明
中国科学: 信息科学, 2021, 51(10): 1625-1639
摘要 大数据时代,针对高维数据的聚类分析已成为数据挖掘的热点和难点问题,与此同时,近年来数据获取方式的重大变革推动了多视角研究快速兴起.多视角子空间聚类能够针对高维数据进行聚类,已成为目前聚类研究的一个重要分支.然而,现有部分方法直接从原始数据学习相似度矩阵,极易受到数据中噪声的影响.因此,本文提出了一种基于本质自表示的多视角子空间聚类方法 (intrinsic self-representation for multi-view subspace clustering, ISMSC),从数据的潜在表示中学习相似度矩阵,并利用数据的自表达特性将所有视角的特征融合成本质表示.然后,本文使用交替方向乘子法(alternating direction method of multipliers, ADMM)设计了有效的求解策略对模型进行优化.最后,将ISMSC在人造数据集和8个真实基准数据集上的实验结果与9种基准方法进行了对比,结果表明了模型的鲁棒性和有效性.
关键词 多视; 聚类; 子空间; 谱聚类; 稀疏; multi-view; clustering; subspace; spectral clustering; sparse;

计算机 人工智能 论文 Website Google Scholar

基于联合分布核适配的迁移学习及其隐私保护

Transfer learning based on joint distribution kernel adaptation and its privacy protection

倪宣明, 沈鑫圆, 张海
中国科学: 信息科学, 2021, 51(10): 1609-1624
摘要 迁移学习利用不同但相关的源域标记数据来解决目标领域的学习问题,大多数减小域间分布差异的方法依赖于最大均值差异距离,但其仅仅能匹配域间数据分布的各阶矩.此外,隐私保护意识的增强限制了对数据源的访问,对迁移学习的发展提出了新的挑战.本文提出一种基于联合分布核适配的迁移学习及其隐私保护方法,直接在再生核希尔伯特空间中同时减小域间边缘分布和条件分布的差异,从而学习一个域不变核矩阵.此外,我们设置数据源双方首先访问一个相同的随机投影函数,然后聚合器发布基于目标扰动的差分隐私核分类器,在实现基于核的联合分布适配的同时,避免了数据源与聚合器直接共享原始特征数据.在多个文本和图像迁移学习基准数据集上进行了对比实验和参数分析,结果显示本文方法具有良好的有效性.
关键词 迁移学习; 隐私保护; 分布适配; 谱学习; 差分隐私; transfer learning; privacy protection; distribution adaptation; spectral learning; differential privacy;

计算机 人工智能 评述 Website Google Scholar

几何视角下深度神经网络的对抗攻击与可解释性研究进展

Adversarial attack and interpretability of the deep neural network from the geometric perspective

夏萌霏, 叶子鹏, 赵旺, 易冉, 刘永进
中国科学: 信息科学, 2021, 51(9): 1411-1437
摘要 随着深度神经网络在机器学习的各个领域获得广泛成功,其自身所存在的问题也日益尖锐和突出,例如可解释性差、鲁棒性弱和模型训练难度大等.这些问题严重影响了神经网络模型的安全性和易用性.因此,神经网络的可解释性受到了大量的关注,而利用模型可解释性改进和优化模型的性能也成为研究热点之一.在本文中,我们通过几何中流形的观点来理解深度神经网络的可解释性,在通过流形视角分析神经网络所遇到的问题的同时,汇总了数种有效的改进和优化策略并对其加以解释.最后,本文对深度神经网络流形解释目前存在的挑战加以分析,提出将来可能的发展方向,并对今后的工作进行了展望.
关键词 深度学习; 对抗攻击; 可解释性; 流形; deep learning; adversarial attack; interpretability; manifold;

计算机 人工智能 论文 Website Google Scholar

复杂担保网络中传染路径的风险评估

Risk assessment for contagion path in complex loan network

程大伟, 牛志彬, 刘新海, 张丽清
中国科学: 信息科学, 2021, 51(7): 1068-1083
摘要 中小企业贷款在促进技术创新、推动经济发展、改善民生和增加就业等方面有着重要的作用.为了满足商业银行的贷款评估标准,很多中小企业选择互相提供担保以获得授信,形成了结构复杂的担保网络.当借款方的贷款违约时,风险则沿着担保方向在网络中层层传播,由此造成的潜在系统性风险给国家的金融安全和监管带来了严峻的挑战.因此,迫切需要发展相应的方法从系统角度对复杂金融担保网络中的传染路径进行风险评估和预测.本文提出了一种基于深度学习的风险评估模型,该方法应用图神经网络和注意力机制直接从网络化的贷款行为数据中学习风险特征,无需依赖于金融领域专业知识的人工特征工程.实验结果表明,本文设计的方法在多数评价指标上均优于现有的7个对比的基准模型.在传染路径风险评估任务中,比基准方法在精确率和召回率的调和平均数(F1-score)方面平均提升了2%~15%.在新路径风险评估任务中,比最好的基准方法平均提升了3.5%.结果表明了本文设计方法在传染路径风险评估中的有效性,可为监管部门和金融机构对担保网络进行系统性风险评估提供方法理论基础.
关键词 风险评估, 传染路径, 担保网络, 图神经网络, 注意力机制

计算机 人工智能 论文 Website Google Scholar

EL-Picker: 基于集成学习的余震P波初动实时拾取方法

El-Picker: a machine learning-enhanced robust P-phase picker for real-time seismic monitoring

申大忠, 张琦, 徐童, 祝恒书, 赵雯佳, 殷子凯, 周培伦, 房立华, 陈恩红, 熊辉
中国科学: 信息科学, 2021, 51(6): 912-926
摘要 在实时地震监测中,地震P波(primary wave)的初动拾取任务具有至关重要的作用,其有助于地震应急响应的及时实施.虽然此前在该领域已开展了大量的研究,但是如何从地震分布密集并且充满噪声的监测波形中有效地识别出P波仍然是一个具有挑战性的任务.例如对于大地震的余震监测,实践中使用的普遍方法仍依赖于专家辅助标注.本文针对地震实时监测任务,基于集成学习策略,提出一个全新的技术框架——EL-Picker,实现从连续地震波形中自主拾取P波的初动到时.具体而言,EL-Picker包含3个模块,即触发器、分类器和精化器.其中,分类器模块借鉴集成学习策略,实现对多个个体学习器的整合,提升整体模型性能.基于汶川Ms8.0地震的余震数据集进行的大量实验,我们发现EL-Picker不仅较好地实现P波初动拾取效果,并且多诊断出120%被人工遗漏的地震P波.同时,实验结果也启发我们探索如何针对不同的地震站台选取个性化的个体学习器构建分类器模块.此外,我们进一步地讨论了被人工遗漏的地震波形的规律特点,用于指导人工地震标注.这些发现清晰地验证了EL-Picker框架的鲁棒性、时效性、灵活性以及稳定性.
关键词 P波拾取, 机器学习, 集成学习, 汶川余震, 实时地震监测

计算机 人工智能 论文 Website Google Scholar

联邦学习下对抗训练样本表示的研究

Towards training time attacks for federated machine learning systems

冯霁, 蔡其志, 姜远
中国科学: 信息科学, 2021, 51(6): 900-911
摘要 联邦机器学习系统由于能够在多方之间训练联合模型而无需各方共享训练数据,因此在学术界和工业界都获得了越来越多的关注和应用.与传统的机器学习框架相比,这类系统被认为具有保护数据隐私的良好潜力.另一方面,训练阶段攻击是一种通过故意扰动训练数据,从而希望在测试时操纵相应的学习系统预测行为的攻击方法.例如, DeepConfuse是最近的一种高效生成对抗训练数据的方法,展示了传统监督学习范式在此类攻击下的脆弱性.在本文中,作者扩展了DeepConfuse方法,将其应用在联邦机器学习框架中.这是首次针对联邦学习系统的训练阶段攻击.实验结果表明,在δ–准确率损失的衡量标准下,相比于传统的机器学习框架,联邦学习系统在DeepConfuse攻击下更加脆弱.
关键词 联邦学习, 学件, 表示学习

计算机 人工智能 论文 Website Google Scholar

一种基于对抗学习和语义相似度的社交网络跨媒体搜索方法

A cross-media search method for social networks based on adversarial learning and semantic similarity

刘翀, 杜军平, 周南
中国科学: 信息科学, 2021, 51(5): 779-794
摘要 社交网络蕴含着丰富的多媒体信息,如何实现社交网络跨媒体信息的搜索已成为研究热点.基于深度学习的单一模态语义特征提取和学习在社交网络信息搜索上取得了较好的效果.在跨模态信息搜索时不同模态的数据特征不能直接比较,因此不同模态之间的语义鸿沟是亟待解决的关键问题.针对上述问题,本文提出了一种基于对抗学习和语义相似度的跨媒体搜索方法,实现了文本和图像之间的相互匹配、排序和搜索.该方法使用对抗学习方法框架构建训练特征映射网络和模态判别网络,其中特征映射网络使用多维语义分布向量将不同模态的数据映射到同一语义空间中,使得相同语义下的不同模态数据在该空间距离小,不同语义下相同模态数据距离大.使用语义分布及相似度作为特征映射网训练依据,模态判别网络负责判定空间中不同数据的模态.基于对抗学习交替训练两个网络,使得特征映射网络得到的数据和原数据语义一致,并消除模态特性,最终在同一空间内使用相似度来排序并得到搜索结果.实验结果表明本文提出的方法在文本和图像的相互搜索的map值比同类方法高,并验证了该方法在社交网络安全话题数据上的有效性.
关键词 跨媒体搜索; 对抗学习; 语义相似度; 社交网络; 搜索排序; cross-media retrieval; adversarial learning; semantic similarity; social network; search and rank;

计算机 人工智能 论文 Website Google Scholar

稀疏连接的异步池计算网络

Sparsely connected asynchronous reservoir computing network

薄迎春, 张欣, 刘宝, 王平
中国科学: 信息科学, 2021, 51(5): 764-778
摘要 针对池计算网络的构建问题,提出了一种稀疏连接的异步神经元池构造方法,该方法将多个子神经元池顺序连接,并在子神经元池之间设置滞后环节,以实现各子神经元池对输入信息的异步处理,进而构成串行的记忆.为实现信息高效传输,子神经元池之间采用稀疏的连接方式.实验表明,所提方法能够有效地提高神经元池的记忆容量,易于解决长时依赖问题.此外,该结构能够使神经元池产生丰富的动力学行为,对初始参数也有较好的鲁棒性.
关键词 人工神经网络; 池计算; 记忆; 鲁棒性; 动力学; artificial neural network; reservoir computing; memory; robustness; dynamics;

计算机 人工智能 观点与争鸣 Website Google Scholar

精准智能理论: 面向复杂动态对象的人工智能

Refined intelligence theory: artificial intelligence regarding complex dynamic objects

郑志明, 吕金虎, 韦卫, 唐绍婷
中国科学: 信息科学, 2021, 51(4): 678-690
摘要 新一轮科技革命和产业变革正在萌发,以深度学习和大数据为基础,以Alpha Go等为典型应用场景掀起了人工智能的第3次高潮.传统的基于统计线性化动态建模的人工智能,在处理复杂对象时遇到了可解释性、泛化性和可复现性等发展瓶颈,迫切需要建立基于复杂性与多尺度分析的新一代人工智能理论,我们称之为精准智能.针对复杂系统的非线性特征,精准智能构建内嵌领域知识和数学物理机理的系统学习理论,包括复杂数据科学感知、复杂系统精准构建、复杂行为智能分析3个层次.具体而言,通过复杂数据科学感知建立内嵌时空特征与数理规律等具有可解释性的科学数据系统;通过复杂系统精准构建反演具有非线性复杂逻辑关系的多层次、多尺度、可解释的人工智能动态学习模型;通过对系统复杂行为智能分析建立面向系统行为演进和全局动态分析的可解释可调控人工智能新理论和新方法.将上述精准智能理论应用于群体智能,提出了群体熵方法,实现了群体激发和汇聚行为复杂性度量与有效引导调控.
关键词 人工智能; 可解释性; 非线性; 复杂性; 精准智能; artificial intelligence; interpretability; nonlinearity; complexity; refined intelligence;

计算机 人工智能 论文 Website Google Scholar

生成式对抗网络的不稳定性分析及其处理技术

Instability analysis for generative adversarial networks and its solving

谭宏卫, 周林勇, 王国栋, 张自力
中国科学: 信息科学, 2021, 51(4): 602-617
摘要 生成式对抗网络(generative adversarial networks, GANs)训练的不稳定性问题一直是GANs研究领域最具挑战性的问题之一.目前,仍未从理论上找到影响GANs训练稳定性的根本原因及有效的解决办法.本文通过理论分析发现, GANs训练的不稳定性主要是由于训练最优判别器与最小化生成器之间相互矛盾所致.经逐步分析得出,控制判别器的Lipschitz常数是解决GANs不稳定性问题的关键,进而提出一种有针对性的梯度惩罚技术来解决此问题.最后,本文从损失函数的振荡幅度(收敛性)、梯度总体变化趋势,以及网络整体性能3个方面进行了全面对比实验.结果显示,本文所提出的惩罚技术对处理GANs训练的不稳定性问题具有显著的效果.
关键词 生成式对抗网络; 不稳定性分析; 惩罚技术; 梯度范数; Lipschitz常数; generative adversarial networks; instability analysis; penalty technique; gradient norm; Lipschitz constant;

计算机 人工智能 论文 Website Google Scholar

求解增量二分图优化问题的动态规划驱动的局部搜索算法

A dynamic programming-based local search algorithm for solving the dynamic bipartite drawing problem

彭博, 卢晨贝, 赵岳虎, 苏宙行, 廖毅, 吕志鹏
中国科学: 信息科学, 2021, 51(4): 582-601
摘要 增量二分图优化问题(dynamic bipartite drawing problem, DBDP)是一个具有NP难度的组合优化问题,该问题在实际生产生活中有着广泛的应用.本文提出了一种新的动态规划驱动的局部搜索(DP-LS)算法来求解该问题.不同于文献中求解该问题和该类问题的所有启发式算法的邻域搜索方式(即每次邻域操作只对一个或两个节点进行插入或交换动作),本文提出的动态规划驱动的局部搜索算法能从邻域结构中挑选出并执行多个独立的邻域动作,大大提高了邻域搜索的效率. DP-LS算法从一个随机初始解出发,迭代地利用基于动态规划的局部搜索算法来寻找局部最优解,同时结合扰动机制跳出局部极值陷阱实现全局搜索.本文提出的增量评估方法能够快速评估基于插入和交换的邻域动作,可以大大提高算法的搜索效率.本文针对1120个公共算例进行了计算实验并同文献中已有算法(包括通用求解器Gurobi)进行对比,表明了所提出的动态规划驱动的局部搜索算法在解的优度和计算效率两方面的有效性.此外,通过对比实验表明了DP-LS算法中动态规划机制的有效性(提升近十倍的搜索效率).值得注意的是,本文提出的基于动态规划的局部搜索算法不仅能够用于求解DBDP问题,也能作为一种通用的启发式算法来求解其他组合优化问题,尤其是排序类优化问题.
关键词 增量二分图优化问题; 动态规划; 局部搜索; 增量评估机制; dynamic bipartite drawing problem; dynamic programming; local search; incremental evaluation technique;

计算机 人工智能 刊讯 Website Google Scholar

弱监督学习专题简介

张敏灵, 李宇峰
中国科学: 信息科学, 2021, 51(3): 520-520
关键词 弱监督学习; 多示例学习; 半监督学习;

计算机 人工智能 进展 Website Google Scholar

数据驱动的网络多媒体边缘内容分发

Data-driven multimedia edge network and content delivery

朱文武, 王智
中国科学: 信息科学, 2021, 51(3): 468-504
摘要 近年来,网络多媒体迅猛发展.相较于传统固定网络多媒体内容服务,兴起的移动化多媒体服务中的用户行为发生了根本变化.传统内容分发架构依靠中心化基础设施、全局流行度趋势,无法有效感知和服务移动多媒体内容.利用边缘网络架构结合数据驱动策略服务动态移动多媒体内容,提升服务质量成为一种新的选择.通过数据驱动与跨域协同的研究方法,本文深入研究移动多媒体内容服务规律、系统架构、策略设计等.本文首先探讨数据驱动的大规模移动多媒体内容分发模式挖掘与网络性能分析,揭示边缘多媒体内容分发与传统内容分发的本质区别;进一步,本文给出一般性的边缘多媒体网络与内容分发的研究方法,包括数据驱动与跨域协同的多媒体边缘网络内容分发研究框架.最后,本文给出几种代表性框架,包括基于社交媒体传播预测进行内容部署的SocialCDN,基于内容提供商智能的CPCDN,基于边缘网络设备进行移动多媒体内容分发的EdgeCDN,以及基于用户众筹资源的CrowdCDN.
关键词 多媒体网络; 大规模内容分发; 数据驱动策略; 边缘计算; 资源分配; multimedia network; large-scale content delivery; data-driven strategies; edge computing; resource allocation;

计算机 人工智能 论文 Website Google Scholar

基于深度线性判别分析的哈希技术

Deep linear discriminant analysis hashing

胡迪, 聂飞平, 李学龙
中国科学: 信息科学, 2021, 51(2): 279-293
摘要 传统基于分类学习的监督哈希方法并不能完全满足哈希检索技术需求,但是线性判别分析却能够在一定程度上做到这一点.本文提出将线性判别分析作为深度网络的优化目标,以端到端训练的方式学习有效的哈希编码.但是,直接以上述目标训练神经网络就必须解决具有较高计算复杂度的特征值分解问题.在本文中,线性判别分析目标被转化为一个简单的最小均方问题,这种转化可以解决上述问题,同时可以利用成熟的优化方法优化网络.这种基于线性判别分析的深度网络拓展可以弥补传统判别分析在简单线性投影和特征学习上的劣势.本文在3个基准数据集上进行大量对比实验,相对于传统线性判别分析,本文所提方法在检索基准指标上有70%的提升,并超过大多数基于深度模型的哈希方法,这些实验结果证明了本文方法的有效性.
关键词 哈希技术; 线性判别分析; 最近邻检索; 深度网络; 量化技术; hashing technique; linear discriminant analysis; nearest-neighbor search; deep network; quantization technique;

计算机 人工智能 论文 Website Google Scholar

基于地质知识蒸馏学习的油气储集层识别方法

Method of oil and gas reservoir detection based on geological knowledge distillation learning

李徵, 刘淇, 王喆锋, 郑毅, 林霞, 怀宝兴, 米兰, 陈恩红
中国科学: 信息科学, 2021, 51(1): 40-55
摘要 油气储集层识别是石油能源企业在勘测和开发业务中核心的任务之一.长期以来,油气行业一直依靠专家人工分析海量测井数据以对地下油气储集层进行定性分析,虽然专家解释结论有着很高的精准度,但是时间与经济成本都十分高昂.近些年来,随着以深度学习为代表的人工智能技术的迅速发展,智能油气储集层识别技术成为学术界和工业界共同关注的问题.然而,真实工业环境存在严重的传感数据不一致问题,给传统的监督学习模型带来巨大的挑战.本文针对传感器不一致情境中油气储集层识别任务展开研究,提出多尺度地质知识蒸馏网络的方法.首先,该方法提出一种多尺度特征自注意力融合机制来学习地质信息的多尺度动态表征.其次,该方法设计一种地质知识蒸馏学习模型,从非一致传感数据中学习额外的地质知识,进一步提升模型准确度.最后,在真实数据集上进行大量实验,结果充分证明本文提出的模型在油气储集层识别任务上的有效性和鲁棒性.
关键词 油气储集层识别; 地质知识; 蒸馏学习; 传感数据; 深度神经网络; oil and gas reservoirs detection; geological knowledge; distillation learning; sensor data; deep neural network;

计算机 人工智能 论文 Website Google Scholar

K-近邻分类器鲁棒性验证: 从约束放松法到随机平滑法

Robustness verification of K-NN classifiers via constraint relaxation and randomized smoothing

王璐, 姜远
中国科学: 信息科学, 2021, 51(1): 27-39
摘要 本文研究K-近邻分类器的鲁棒性验证问题.形式化鲁棒性验证的目标是计算分类器在给定样本点上的最小对抗扰动的精确值或者最小对抗扰动的非平凡下界.我们将计算K-近邻分类器的最小对抗扰动形式化为一组二次规划问题.二次规划问题的数目随近邻参数K的增大呈指数级增长,精确求解该组二次规划问题往往不可行.约束放松法通过放松优化的约束项,可以在多项式时间内求解最小对抗扰动的下界.然而,本文通过理论分析和实验发现,当近邻参数K取值较大时,约束放松法求得的下界往往过于宽松,甚至会出现K越大下界越小的反直觉结果.为解决这一问题,本文提出使用随机平滑法对K-近邻分类器进行鲁棒性验证.随机平滑法利用了K-近邻分类器对高斯(Gauss)白噪声鲁棒的特点,获得了较为理想的鲁棒性验证效果.基准数据集上的实验结果表明,相比于最新的鲁棒神经网络,"随机平滑的" K-近邻分类器展现出了更好的验证鲁棒性.
关键词 监督学习; 对抗机器学习; 对抗鲁棒性; 鲁棒性验证; K-近邻分类器; supervised learning; adversarial machine learning; adversarial robustness; robustness verification; K-NN classifier;

计算机 人工智能 论文 Website Google Scholar

基于特征归因重要度评价的卷积网络剪枝

Convolution network pruning based on the evaluation of the importance of characteristic attributions

张彪, 杨朋波, 桑基韬, 于剑
中国科学: 信息科学, 2021, 51(1): 13-26
摘要 近几年,深度模型在诸多任务中取得了巨大成功,但是深度模型需要大量的存储和计算资源实现精确决策,研究者为了将深度模型应用到资源受限的终端设备中,设计了模型压缩的优化策略来降低模型占存和计算量.本文基于剪枝压缩框架,从卷积核重要度评价的角度提出了两种模型剪枝算法.(1)由于每个卷积核都可以学习到其独有特征信息,因此本文提出了一种归因评价机制用于评价卷积核所学特征与因果特征的相关度,将模型中与因果特征相关度较低的卷积核进行裁剪,以实现模型压缩的目的,同时也能够保留原模型的归因特征,称此算法为归因剪枝.(2)第2种剪枝算法基于迭代优化剪枝框架,采用卷积通道和梯度中正相关特征评价相应卷积核重要度,以便于提高剪枝冗余卷积核的精准度,称为Taylor-guided剪枝算法.本文在VGGNet和ResNet两种网络架构上进行实验验证,结果表明:归因剪枝算法可以极大地保留原模型的归因特征;并且两种剪枝算法能够取得比当前主流剪枝算法更优异的压缩效果.
关键词 深度学习; 网络剪枝; 归因; 压缩; Taylor展开; deep learning; network pruning; attribution; compression; Taylor expansion;

计算机 人工智能 论文 Website Google Scholar

基于决策树模型重用的分布变化流数据学习

Learning from distribution-changing data streams via decision tree model reuse

赵鹏, 周志华
中国科学: 信息科学, 2021, 51(1): 1-12
摘要 在很多真实应用中,数据以流的形式不断被收集得到.由于数据收集环境往往发生动态变化,流数据的分布也会随时间不断变化.传统的机器学习技术依赖于数据独立同分布假设,因而在这类分布变化的流数据学习问题上难以奏效.本文提出一种基于决策树模型重用的算法进行分布变化的流数据学习.该算法是一种在线集成学习方法:算法将维护一个模型库,并通过决策树模型重用机制更新模型库.其核心思想是希望从历史数据中挖掘与当前学习相关的知识,从而抵御分布变化造成的影响.通过在合成数据集和真实数据集上进行实验,我们验证了本文提出方法的有效性.
关键词 机器学习; 分布变化; 流数据; 模型重用; 集成学习; 动态环境; machine learning; distribution change; data stream; model reuse; ensemble methods; dynamic environments;