关键词
机器学习; 分布变化; 流数据; 模型重用; 集成学习; 动态环境; machine learning; distribution change; data stream; model reuse; ensemble methods; dynamic environments;摘要
在很多真实应用中,数据以流的形式不断被收集得到.由于数据收集环境往往发生动态变化,流数据的分布也会随时间不断变化.传统的机器学习技术依赖于数据独立同分布假设,因而在这类分布变化的流数据学习问题上难以奏效.本文提出一种基于决策树模型重用的算法进行分布变化的流数据学习.该算法是一种在线集成学习方法:算法将维护一个模型库,并通过决策树模型重用机制更新模型库.其核心思想是希望从历史数据中挖掘与当前学习相关的知识,从而抵御分布变化造成的影响.通过在合成数据集和真实数据集上进行实验,我们验证了本文提出方法的有效性.
关键词
深度学习; 网络剪枝; 归因; 压缩; Taylor展开; deep learning; network pruning; attribution; compression; Taylor expansion;摘要
近几年,深度模型在诸多任务中取得了巨大成功,但是深度模型需要大量的存储和计算资源实现精确决策,研究者为了将深度模型应用到资源受限的终端设备中,设计了模型压缩的优化策略来降低模型占存和计算量.本文基于剪枝压缩框架,从卷积核重要度评价的角度提出了两种模型剪枝算法.(1)由于每个卷积核都可以学习到其独有特征信息,因此本文提出了一种归因评价机制用于评价卷积核所学特征与因果特征的相关度,将模型中与因果特征相关度较低的卷积核进行裁剪,以实现模型压缩的目的,同时也能够保留原模型的归因特征,称此算法为归因剪枝.(2)第2种剪枝算法基于迭代优化剪枝框架,采用卷积通道和梯度中正相关特征评价相应卷积核重要度,以便于提高剪枝冗余卷积核的精准度,称为Taylor-guided剪枝算法.本文在VGGNet和ResNet两种网络架构上进行实验验证,结果表明:归因剪枝算法可以极大地保留原模型的归因特征;并且两种剪枝算法能够取得比当前主流剪枝算法更优异的压缩效果.
关键词
监督学习; 对抗机器学习; 对抗鲁棒性; 鲁棒性验证; K-近邻分类器; supervised learning; adversarial machine learning; adversarial robustness; robustness verification; K-NN classifier;摘要
本文研究K-近邻分类器的鲁棒性验证问题.形式化鲁棒性验证的目标是计算分类器在给定样本点上的最小对抗扰动的精确值或者最小对抗扰动的非平凡下界.我们将计算K-近邻分类器的最小对抗扰动形式化为一组二次规划问题.二次规划问题的数目随近邻参数K的增大呈指数级增长,精确求解该组二次规划问题往往不可行.约束放松法通过放松优化的约束项,可以在多项式时间内求解最小对抗扰动的下界.然而,本文通过理论分析和实验发现,当近邻参数K取值较大时,约束放松法求得的下界往往过于宽松,甚至会出现K越大下界越小的反直觉结果.为解决这一问题,本文提出使用随机平滑法对K-近邻分类器进行鲁棒性验证.随机平滑法利用了K-近邻分类器对高斯(Gauss)白噪声鲁棒的特点,获得了较为理想的鲁棒性验证效果.基准数据集上的实验结果表明,相比于最新的鲁棒神经网络,"随机平滑的" K-近邻分类器展现出了更好的验证鲁棒性.
论文
基于地质知识蒸馏学习的油气储集层识别方法
Website Google Scholar李徵, 刘淇, 王喆锋, 郑毅, 林霞, 怀宝兴, 米兰, 陈恩红
中国科学: 信息科学, 2021, 51(1): 40-55
关键词
油气储集层识别; 地质知识; 蒸馏学习; 传感数据; 深度神经网络; oil and gas reservoirs detection; geological knowledge; distillation learning; sensor data; deep neural network;摘要
油气储集层识别是石油能源企业在勘测和开发业务中核心的任务之一.长期以来,油气行业一直依靠专家人工分析海量测井数据以对地下油气储集层进行定性分析,虽然专家解释结论有着很高的精准度,但是时间与经济成本都十分高昂.近些年来,随着以深度学习为代表的人工智能技术的迅速发展,智能油气储集层识别技术成为学术界和工业界共同关注的问题.然而,真实工业环境存在严重的传感数据不一致问题,给传统的监督学习模型带来巨大的挑战.本文针对传感器不一致情境中油气储集层识别任务展开研究,提出多尺度地质知识蒸馏网络的方法.首先,该方法提出一种多尺度特征自注意力融合机制来学习地质信息的多尺度动态表征.其次,该方法设计一种地质知识蒸馏学习模型,从非一致传感数据中学习额外的地质知识,进一步提升模型准确度.最后,在真实数据集上进行大量实验,结果充分证明本文提出的模型在油气储集层识别任务上的有效性和鲁棒性.
关键词
网络流量分类; 深度卷积神经网络; PCA; 多分类器; 特征选择; Tensorflow; network traffic classification; deep convolutional neural network; PCA; multi-classifier; feature selection; Tensorflow;摘要
机器学习方法对网络流量分类的前提是假设流量具有独立同分布性,而实际情况下流量特征不断发生变化,导致该方法在处理海量、不具备独立同分布的流量数据时开销较大,计算复杂度较高,精度较低.针对上述问题,本文提出一种新的分类模型.该模型将PCA算法与改进的深度卷积神经网络分类模型(improved deep LeNet-5 convolutional neural networks, LCNN)相结合进行流量分类.前者进行降维分析,发现影响检测精度的关键特征,后者采用自主特征学习方式提升分类精度.实验表明,本文方法的内存开销较之前方法降低了3.2%,检测精度提升了5%~8%.
关键词
安全多方计算; 百万富翁问题; 恶意模型; 分割–选择; 零知识证明; 理想–实际范例; secure multiparty computation; millionaires' problem; malicious model; cut-and-choose; zero-knowledge proof; ideal-real paradigm;摘要
安全多方计算是国际密码学界研究的热点,百万富翁问题是安全多方计算最基础最重要的问题,是构造其他安全多方计算协议的基本模块.这个问题已经有许多解决方案,但除了基于混淆电路的协议之外,目前基于公钥加密算法的解决方案几乎都是半诚实模型下的解决方案,抗恶意敌手的解决方案极少,仅有的个别解决方案效率很低,这制约着恶意模型下许多安全多方计算问题的解决.抗恶意敌手的解决方案更符合安全多方计算的实际应用场景,研究抗恶意敌手的百万富翁问题解决方案,具有重要的理论与现实意义.本文首先设计了一个半诚实模型下百万富翁问题的解决方案,进一步分析了恶意敌手可能的恶意行为,并用零知识证明和分割选择阻止或发现这些恶意行为,将半诚实模型下安全的计算协议改造成恶意模型下安全的计算协议,并用理想–实际范例证明了协议的安全性,分析了恶意敌手攻击成功的概率和方案的效率.理论分析表明与现有方案相比,我们提出的方案效率至少提高6倍.
关键词
安全控制; 信息物理系统; 稀疏恶意攻击; 切换策略; 抗攻击性能; secure control; cyber-physical systems; sparse adversarial attacks; switching strategy; attack-resilient performance;摘要
针对遭受稀疏恶意攻击的离散时间线性系统,本文研究其安全控制问题.假设恶意攻击者受有限资源的约束,仅能操控远程控制器和执行器之间的若干通信通道.对于设计者来说,并不知道哪些通道受到攻击,哪些通道没有受到攻击.本文提出了一种新的安全的远程控制方法,它由控制律、切换函数和选择机制构成.选择机制为控制律提供合适的反馈增益,并产生一个切换函数,用以阻止攻击信号进入被控对象.理论分析表明,在基本的和必要的假设条件下,本文考虑的安全控制问题可转化为求解状态反馈镇定问题.本文所提控制方法,能保证闭环系统的稳定性且使其具有"PID"型性能的抗攻击能力.最后,通过对某无人地面车辆系统的仿真实验,验证了理论结果的正确性.
论文
基于变分贝叶斯高斯混合噪声模型的机器人跨模态生成对抗网络
Website Google Scholar熊鹏文, 童小宝, 宋爱国, 刘小平
中国科学: 信息科学, 2021, 51(1): 104-121
关键词
跨模态; 变分贝叶斯高斯混合; 条件生成对抗网络; cross-modal; variational Bayesian Gaussian mixture; conditional generative adversarial networks;摘要
多模态融合对于机械手充分感知外界环境至关重要,单一模态信息会限制机械手对物体的识别、抓取能力,而传统的跨模态数据生成方法生成的图像效果较差,导致多模态融合效果并不理想.为了解决跨模态生成的图像效果差和多模态融合的数据缺乏等问题,本文提出变分贝叶斯高斯混合条件生成对抗网络(BGM-CGAN)的跨模态多样性噪声数据生成式方法.首先利用变分贝叶斯高斯混合算法将均匀分布的随机噪声组生成单一的混合变量;然后将生成的混合变量通过高斯混合模型生成一系列高斯混合噪声组;最后从生成的高斯混合噪声组中随机选取单一高斯噪声导入辅助模态图像中,并与辅助模态图像进行融合,成功生成了高清晰度的异域模态图像,真实还原了异构模态信息,解决了单一模态信息不足和生成图像质量差等问题.最后利用Inception Score (IS)、Frechet Inception Distance(FID)、结构相似性(SSIM)、峰值信噪比(PSNR)等评价体系,将BGM-CGAN算法与其他算法的跨模态生成图像能力进行对比,验证了所提出算法的有效性和可行性.此外, BGM-CGAN算法还可延伸应用于跨模态材料检索、跨模态纹理识别等领域,具有广泛应用前景.
关键词
室内定位; 无线感知; 毫米波; 阵列校准; 信道状态信息; indoor localization; wireless sensing; millimeter wave; array calibration; channel state information;摘要
近年来,基于无线射频信号的定位技术迅速发展.然而,已有基于商用Wi-Fi设备的定位系统在实用性和准确性上存在明显局限.新兴WiGig设备采用毫米波通信,天线数远多于Wi-Fi设备,具有更高的角度分辨率.然而受限于成本,商用WiGig设备采用模拟波束成型方法,无法获得各天线的信道响应.本文利用新兴毫米波设备,实现高精度定位系统WiGLoc.为此,首先对天线阵列接收信号强度建模(received signal strength, RSS),恢复天线的信道状态信息(channel state information, CSI);然后,对天线阵列进行校准,测量天线阵列参数;最后,利用天线信道状态信息和天线阵列布局信息估计发射端到目标的信号离开角(angle of departure, AoD),对目标定位.实验结果表明, WiGLoc平均三维追踪精度达到了6 cm,平均二维定位精度达到了27 cm.与此相比,已有基于波束成型的方法三维追踪和二维定位的精度分别仅为11 cm和44 cm.
论文
基于超图聚簇和干扰限制区域理论的全双工D2D车载通信资源管理方案
Website Google Scholar肖海林, 吴彬, 张中山, 王承祥, 周迪
中国科学: 信息科学, 2021, 51(1): 139-156
关键词
C-V2X; 超图聚簇; 干扰限制区域; FD-D2D车载通信; 频谱复用; cellular vehicle-to-everything; hypergraph clustering; interference limited area; full-duplex device-to-device vehicular communication; spectrum sharing;摘要
在蜂窝车用无线通信(cellular vehicular-to-everything, C-V2X)系统中,车辆快速移动导致D2D链路的网络拓扑不稳定,频繁重构的网络拓扑增加了同频干扰问题的复杂度和拓扑管理信令的数量,造成基站的计算能力和带宽资源浪费.本文建立以簇为核心的全双工D2D (full-duplex device-to-device,FD-D2D)车载通信模型,提出基于超图聚簇(hypergraph clustering, HG-C)和干扰限制区域(interference limited area, ILA)理论的FD-D2D车载通信资源管理方案.利用链路依赖度(degree of link dependence, DLD)和车辆用户(Vehicle users, VUE)的计算能力提高簇的生存时间,降低基站的开销.同时,利用动态功率控制和复用区域映射辅助基站分配资源,削弱复用相同蜂窝链路的V-D2D (vehicular device-to-device)链路间和对蜂窝链路的同频干扰,提高频谱效率.最后,基于交通仿真建模软件VISSIM产生实时交通流数据,从而验证本文所提资源管理方案,结果表明:基站承担的网络拓扑管理任务量至少降低50%,与传统蜂窝D2D车载通信相比,频谱平均复用次数增加0.5次以上,频谱效率增加10%.
关键词
平衡式滤波器; 阶跃阻抗谐振器; 高阶; 窄带; 高温超导; balanced filter; stepped-impedance resonator(SIR); high order; narrowband; high-temperature superconductor(HTS);摘要
本文研究了一款基于非对称耦合阶跃阻抗谐振器SIR (stepped-impedance resonator)设计的6阶窄带超导平衡式带通滤波器,该滤波器具有高的频率选择性以及宽阻带特性.本文首先研究了3种具有不同耦合特性的SIR耦合对,分析了其差模DM (differential mode)相位移、耦合系数,以及共模CM (common mode)抑制水平.通过适当选取SIR的阻抗比以及使用具有分散谐波分量的不同尺寸的SIR,其高次频得以远离基频,从而拓宽阻带.同时,由于其DM和CM等效电路具有不同的谐振频率,其带内的共模噪声可以得到天然的抑制.研究表明,电磁耦合对可在不增加电路面积的情况下获得小的耦合系数以利于窄带设计,电耦合对结构有利于高阶电路的互连,而磁耦合对具有最佳的CM抑制水平.此外, 3类SIR对的弱耦合特性均可用于窄带设计.为了验证,本文采用所述3类SIR对设计了一款6阶平衡式带通滤波器,并在此基础上引入交叉耦合结构产生传输零点以提高通带选择性.其零点的产生机理通过传输路径的幅度及相位移分析进行了说明.最终,本文利用高温超导HTS (high-temperature superconducting)技术实现了所设计的具有交叉耦合结构的滤波器,以降低插入损耗.该电路在77 K温度下进行了测量,测试结果表明:通带的相对带宽FBW (fractional bandwidth)为1.6%,带内插损约为0.37 d B,带内CM抑制度优于40 d B.其-60 dB带宽/-3 dB带宽的矩形系数小于1.45,同时-20 dB DM阻带达到约5倍f0d(f0d代表DM基波频率).
关键词
网络安全; B5G; 物理层安全;
关键词
内存计算, 近数据计算, 存内计算, 神经网络, 图计算
关键词
人类群体智能, 互联网, 复杂问题求解, 拼图问题, 信息融合与反馈
论文
基于设备性能的 Web3D 动态实时光影云渲染系统
Website Google Scholar刘畅, 刘小军, 贾金原, 徐识溥, 张乾, 黄晨曦, 黄欣
中国科学: 信息科学, 2021, 51(2): 231-246
关键词
云渲染, Web3D, 实时绘制, 动态光影, 全局光照
论文
基于强化学习的舰载机保障作业实时调度方法
Website Google Scholar李亚飞, 吴庆顺, 徐明亮, 吕培, 姜晓恒, 朱睿杰, 周兵
中国科学: 信息科学, 2021, 51(2): 247-262
关键词
舰载机, 保障作业, 实时调度, 强化学习, 仿真验证
关键词
三维标架场, 去旋, 长度可控, 六面体主导网格
关键词
哈希技术, 线性判别分析, 最近邻检索, 深度网络, 量化技术
论文
一种面向复杂场景的无线通信节点智能适变架构
Website Google Scholar尹浩, 魏急波, 赵海涛, 熊俊, 梅锴, 张利军, 任保全, 马东堂
中国科学: 信息科学, 2021, 51(2): 294-304
关键词
智能节点, 通信环境理解, 智能适变, 学习生长, 机器学习, 信道估计
关键词
逆合成孔径雷达 (ISAR) 成像, 复杂运动, 高速运动补偿, 多频段融合成像, 稀疏 ISAR 成像,
进展
构建我国近地小行星探测雷达系统的需求与技术途径探讨
Website Google Scholar李海涛, 刘建军, 陈少伍, 樊敏, 严韦
中国科学: 信息科学, 2021, 51(2): 325-346