摘要 随着数据量爆炸式增长、计算资源愈加丰富,浅层神经网络并不总能满足时代需求,从而导致深度神经网络的出现.深度神经网络的迅猛发展主要体现在应用领域,其理论研究相对匮乏.基于此,本文聚焦研究深度ReLU神经网络的万有一致性,具体内容包括:首先,是否存在一个具有统一结构的深度神经网络(即深度、宽度、激活函数等均已确定)使得该深度神经网络可以学习更多特征,并具有万有逼近性;其次,针对已确定的深度神经网络模型,证明其是强万有一致的;最后,从实验的角度验证理论结果的合理性.

关键词 深度神经网络; 万有一致性; 深度学习; ReLU 函数; 逼近性; deep neural networks; universal consistency; deep learning; ReLU function; approximation

摘要 半监督学习旨在数据标注缺乏的情形下利用无标注数据提升学习性能,是重要的机器学习范式.尽管不少研究报道表明半监督学习取得了优异的性能表现,然而其在面临诸多实践任务时仍存在伪标注质量判断困难、超参数选择敏感、理论指导缺乏等瓶颈.针对上述挑战,本文提出一种稳健选择伪标注的混合式半监督学习方法,通过综合利用模型预测结果之间的分歧自适应地判断伪标注质量,无需预设超参数,显著提升了半监督学习的稳健性.本文在理论上证明了新方法的错误率随训练轮数的增加而显著下降.实验验证了本文方法较主流技术取得了明显的性能提升,例如,相较于在CIFAR-10数据集中表现最优的半监督学习技术FixMatch,新方法的分类错误率下降了11%以上,在更具挑战的STL-10数据集中分类错误率下降了18.8%.

关键词 机器学习; 深度学习; 半监督学习; 伪标注; 稳健性; machine learning; deep learning; semi-supervised learning; pseudo-label; robust

摘要 近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些年,移动众包和网络爬虫这类经济廉价的数据收集方法被广泛采用,但他们不可避免地引入了错误标注,即标签噪声.鉴于深度神经网络强大的数据拟合能力,标签噪声的存在将造成算法的过拟合,严重制约了深度学习方法的泛化能力.针对标签噪声问题,现有研究大多显式或隐式地依赖锚点(明确属于某一类别的样本),然而在现实场景中锚点难以获取,这使得现有解决方案不再适用.为解决这一问题,本文创造性地将多类别标签噪声学习问题转化为混合比例估计(mixture proportion estimation, MPE)问题,构建了一种不依赖锚点的满足统计一致性的学习算法.本文的主要贡献包括:(1)对现有的仅适用于二组成物MPE场景的R-MPE(regrouping-MPE)方法进行推广,提出了多组成物场景下不依赖不可约假设的MPE方法 MR-MPE(multi-component oriented R-MPE);(2)理论上证明了多类别分类场景下标签噪声学习算法锚点假设和MPE问题不可约假设的等价性,并基于所提出的MR-MPE方法构建了不依赖锚点的满足统计一致性的算法.本文在合成噪声数据集和真实噪声数据集上分别与现有算法进行了对比实验,结果显示本文所提算法在多个数据集上均展现出了最优的性能;同时,在移除锚点的情况下,本文对算法的鲁棒性进行了测试,验证了所提算法不依赖锚点的特性.

关键词 混合比例估计; 多类别分类; 标签噪声学习; 锚点; 不可约假设; 统计一致性; mixture proportion estimation; multi-class classification; label-noise learning; anchor point; irreducible assumption; statistical consistency

摘要 决策树模型具有较强的可解释性,是随机森林、深度森林等机器学习方法的基础.如何选择节点的分割属性与分割值是决策树算法的关键问题,对树的泛化能力、深度、平衡程度等重要性能产生影响.传统属性选择准则的定义大多基于凹函数,使得决策树算法存在多值偏向问题,即倾向于选择取值种类多的属性作为节点分割属性.已有研究表明缓解随机一致性的评价准则能够降低分类偏差与类簇个数偏向.本文将基于标准化框架缓解基尼指数的随机一致性,以此缓解其多值偏向问题.通过人造数据集验证,标准基尼指数能够缓解基尼指数的多值偏向问题,并且选择出具有决策信息的属性.通过12个基准数据集与两个图像数据集的实验验证,基于标准基尼指数的决策树算法比现有缓解多值偏向的决策树算法具有较高的泛化性能.

关键词 基尼指数; 多值偏向; 决策树; 随机一致性; Gini index; bias to multi-value; decision tree; random consistency

摘要 当前面向标签噪声的鲁棒性学习通常依赖样本选择和标签修正两种策略,但是这两类方法均存在缺陷.基于样本选择的方法忽略了被过滤掉的样本中的有效信息,进而降低了模型的性能.基于标签修正的方法常使用自标签技术而引起模型的错误积累问题.对此,本文提出了一个集成样本选择、标签修正的联合训练框架.针对样本选择模块,本文设计了一种新的选择标准,通过在线选择的方法对所挑选的样本集合进行更新.相较于现有选择标准,本文提出的标准可保留更多边界样本,提升了模型对决策边界的学习性能,增强了模型的泛化性能.针对标签修正模块,本文提出了一种联合标签修正策略.相比于传统的自标签修正技术,该模块通过联合特征空间视角,对噪声样本进行多视角的标签修正,解决了传统自标签技术的错误累积问题.此外,本文引入对比学习正则化项,提升了标签修正效果和模型表征学习能力.本文方法在4个测试基准上取得了当前最好分类效果,验证了所提训练框架的有效性.

关键词 标签噪声学习; 样本选择; 标签修正; 对比学习; learning with noisy labels; sample selection; label correction; contrastive learning

摘要 因果效应定量描述变量间的影响作用,在许多现实任务中发挥着重要作用.辨识因果效应需要依赖已知的因果关系.一种确定因果关系的主流方法是引入干预信息,即通过人为干预某些因素而获取的信息.鉴于实际干预通常会带来巨大的成本,本文提出利用易于获取的专家知识替代干预,通过设计形如“在XX干预下,目标变量的值相较不干预时增大还是减小?”的问题并向专家咨询,确定因果关系,进而辨识因果效应.尽管每次专家返回的信息量少于干预信息,但通过一定次数的咨询,本文方法可以达到与使用干预信息方法相近的因果效应辨识效果.实验验证了上述结论.

关键词 因果效应辨识; 因果关系; 人机交互; 专家知识; causal effect identification; causal relation; human-in-the-loop; expert knowledge

摘要 与传统多类分类相比,多维分类中每个对象仍由一个示例(特征向量)表示,但同时与多个类别变量相关联,各类别变量基于异构类别空间刻画对象的语义.降维可以有效地缓解维度灾难并加速模型训练,已有多维分类研究均关注于设计性能更好的学习算法,尚未出现面向多维分类数据降维方面的工作.本文基于特征空间和语义空间的相关性,首次面向多维分类数据设计了一种名为SDeM的监督式线性降维方法.该方法使用Hilbert-Schmidt独立判据衡量两个空间的相关性,通过最大化投影特征空间与语义空间在该度量下的相关性确定投影矩阵.实验结果表明,相比于无监督式降维方法,SDeM所得降维特征更有利于多维分类方法取得更好的泛化性能.

关键词 机器学习; 多维分类; 降维; 空间相关性; Hilbert-Schmidt独立准则; machine learning; multi-dimensional classification; dimensionality reduction; dependence between spaces; Hilbert-Schmidt independence criterion

摘要 异常检测旨在发掘数据中异于寻常的模式,它在金融欺诈以及网络入侵检测等领域有着广泛的应用前景.本文主要研究了如何在结构复杂的图数据中进行异常检测,这涉及到挖掘异常的图结构信息以及节点属性信息.现有大部分工作通常采用一个两步的框架,即先对结构复杂的图数据进行表征学习生成图表征向量,然后再将该向量用于下游异常检测任务.由于分开训练的图表征学习任务与下游异常检测任务存在一定的语义鸿沟,这导致现有方法无法有效地挖掘出图中潜在的异常模式.因此,我们提出了一种基于自监督的端到端图数据异常检测框架SGAD,它可以有效地捕获图数据的语义信息并用于异常检测.具体来说, SGAD对无标签图数据进行了一系列变换用于构建自监督辅助任务,然后该自监督任务的输出结果可以直接用于异常检测.我们在多个公开数据集上进行了大量实验,实验结果表明本文提出的SGAD与现有方法相比获得了显著的效果提升.

关键词 图结构数据; 异常检测; 自监督学习; 图神经网络; 图表征学习; graph-structured data; anomaly detection; self-supervised learning; graph neural network; graph representation learning

摘要 联邦跨模态检索利用分散的客户端学习一个共享跨模态检索模型,从而降低集中大规模多模态训练数据时高昂的维护成本,解决分布式数据存储场景下跨模态检索中存在的数据隐私问题.然而现有的联邦跨模态检索方法大多依赖于大量的语义标注,这限制了检索模型在大规模应用场景下的扩展性.与之不同,本文提出一种无监督的联邦跨模态哈希检索模型,旨在保护客户端数据隐私的前提下,学习不依赖语义标注的跨模态检索模型.由于联邦环境中多模态数据分布不平衡,局部信息不足以让模型学习到整体数据上的模态间相似性,从而影响检索性能.为解决此问题,本文提出一个全局–局部模态间对比正则化方法,通过使用不同模态的全局哈希模型对单个模态的局部哈希模型进行约束,使局部哈希模型能够充分感知整体数据的相似性语义,从而加强对本地跨模态哈希学习过程的引导.同时,本文引入一种全局–局部模态内知识蒸馏策略来进一步地获取模态内特有的全局知识.5个基准跨模态检索数据集上的实验结果验证了本文提出方法的有效性.

关键词 联邦学习; 多模态学习; 无监督学习; 跨模态检索; 无监督跨模态哈希; federated learning; multimodal learning; unsupervised learning; cross-modal retrieval; unsupervised cross-modal Hashing

摘要 为了建模多维时间序列(multivariate time series, MTS)中复杂的时序依赖性与随机性,并实现对它的无监督异常检测这一工业机器或互联网基础设施设备质量管理中的关键任务,本文提出了一种堆叠式对抗变分循环神经网络(stacked adversarial variational recurrent neural network, SaVRNN).SaVRNN是一个层次化概率动态模型,它将层次化概率生成模型、堆叠式循环结构和多层对抗优化方式整合到一个联合贝叶斯框架下.具体来说, SaVRNN核心思想是利用堆叠循环结构捕捉多层次与长距离的时序相关性,利用层次化的概率生成操作建模多层的结构特性,进而实现对多维时间序列正常模式的学习,最后通过重构的概率来判断异常模式.为了实现模型的高效推理,本文创新性地提出了一种向上–向下对抗变分推理方案,实现对隐层变量后验的准确估计.针对多层对抗网络中难以实现生成器与判别器的更新平衡导致的SaVRNN训练困难的问题,本文基于条件传输(conditional transport,CT)提出了一个新的优化方法.最后,基于Sa VRNN的层次化结构,本文将多层似然进行融合以改进传统的异常检测策略.在两个公共数据集和一个实测数据集上显示所提方法在F1-score指标上实现了相比目前主流方法的更优性能,证明了所提模型在时间序列在线异常检测任务上的有效性.

关键词 异常检测; 多维时间序列; 对抗变分贝叶斯; 变分循环神经网络; 条件传输; anomaly detection; multivariate time series; adversarial variational Bayesian; variational RNN; conditional transport

摘要 区域同位模式挖掘(RCPM, regional co-location pattern mining)是为了发掘某个局部区域内存在的同位(co-location)模式,以发现在全局中无法发现的信息.传统的区域挖掘大多会采用明确界限的几何体框定同位模式产生的区域.但是现实中的各类区域可能是无明确边界的.另外,数据的分布情况作为区域的重要特征之一,也应该成为区域选择的因素.基于上述思考,本文引入密度峰值聚类(DPC, density peak-based clustering),提出新的密度度量函数,并结合模糊集理论与k近邻距离,设计了一个行之有效的并行区域同位模式挖掘算法.实验结果表明,利用本文方法挖掘到的结果更具有现实意义,并且并行化极大地提升了挖掘算法的效率.在真实数据上, 2线程下的加速比达到了1.89.

关键词 空间数据挖掘; 区域同位模式; 模糊密度峰值聚类; 并行算法; k近邻; spatial data mining; regional co-location pattern; fuzzy density peak clustering; parallel algorithm; k-nearest neighbor;

摘要 朴素贝叶斯由于其简单、高效和有效性成为十大数据挖掘算法之一.然而它要求的属性条件独立假设在实际应用中很难成立.为了削弱其属性条件独立假设,学者们提出了结构扩展、属性选择、属性加权、实例选择、实例加权5类改进方法.现有改进方法虽然在一定程度上降低了模型的偏差,但同时也提高了模型的方差,因而限制了模型的泛化性能.偏差–方差权衡是机器学习的核心原则之一,该原则要求模型具有较低偏差的同时,方差也要尽量低.如何在贝叶斯分类学习中引入偏差–方差权衡,同时获得较低的偏差和方差,从而进一步提升模型的泛化性能,是本文关注的重点.为此,本文首先理论分析了在贝叶斯分类学习中做偏差–方差权衡的可行性,探讨了保证可行性的关键因素;然后通过构建回归任务来学习贝叶斯分类模型的后验概率损失,调控关键因素的变化;最后提出了一种基于偏差–方差权衡的贝叶斯分类学习框架,并在提出的学习框架下重新实现了朴素贝叶斯及其各类改进模型.在大量经典的UCI标准数据集上的实验结果表明,现有的各类先进的贝叶斯分类模型在本文所提学习框架下的分类性能显著优于其原始性能.

关键词 朴素贝叶斯; 属性条件独立假设; 偏差 – 方差权衡; 后验概率损失; 学习框架; naive Bayes; attribute conditional independence assumption; bias–variance trade-off; posterior probability loss; learning framework;

摘要 深度神经网络(deep neural networks, DNNs)能否取得令人满意的性能很大程度上依赖于其神经网络架构.研究人员提出神经网络架构搜索(neural architecture search, NAS)来自动搜索神经网络的最优架构,现有的工作大多使用每秒浮点运算次数(floating point operations per second, FLOPs)来评价神经网络架构的实际效率,但是FLOPs和实际延迟并不是完全一致的.随着任务变得越来越复杂以及越来越多的硬件平台开始运行基于深度神经网络的算法,为硬件平台搜索高效的神经网络架构已成为亟待解决的难题.为了解决这一问题,本文提出了硬件感知的搜索空间构造方法,并借助考虑架构推断延迟的搜索策略,来搜索最优的神经网络架构.本文在可变换神经网络架构搜索方法(transformable architecture search, TAS)和图神经网络架构搜索方法 (graph neural architecture search, GraphNAS)上应用了该方法,提出了硬件可感知的可变换神经网络架构搜索方法 (hardwareaware transformable architecture search, HTAS)和硬件感知的图神经网络架构搜索方法 (hardwareaware graph neural architecture search, HGNAS).相比于现有方法,本文所提出的这两种算法在多种数据集上均针对不同类型目标硬件搜索出了更加高效的深度神经网络架构,从而证明了该方法的有效性.

关键词 深度学习; 神经网络架构搜索; 可变换神经网络架构搜索; 图神经网络架构搜索; 硬件感知; deep learning; neural architecture search; transformable architecture search; graph neural architecture search; hardware-aware;

摘要 模型剪枝被广泛应用于深度神经网络(deep neural network, DNN)的压缩与加速,为资源受限的终端设备部署DNN提供了技术支持.然而以往的剪枝研究缺乏对卷积核效力机制的有效评估,同时忽视了压缩空间中多种不可控因素的潜在干扰.因此本文提出一种卷积效力评价机制驱动的DNN全局剪枝方法,在特征图信息丰富度的基础上,以可视化的方式评估卷积核的效力值,优化了卷积核选择机制.同时探索了压缩空间中卷积结构的效力相关性,并在不同卷积层中使用不同的剪枝标准.首先,本文通过离散傅里叶变换(discrete Fourier transform, DFT)对特征图的信息度进行定量分析,并提出一种评估卷积核效力值的数据驱动方法.然后,基于卷积结构的相关性,引入损失因子以度量剪枝过程中剩余压缩单元的效力损失.最后根据层索引值的变化,在不同结构的功能层中自适应修正剪枝标准.实验表明,相比于最新的剪枝策略,本文的剪枝方法具有更佳的压缩性能和模型优化能力.

关键词 深度神经网络压缩; 模型剪枝; 重要度评估; 损失因子; 特征图信息度; deep neural network compression; model pruning; significance evaluation; loss factor; informativeness of feature map;

摘要 社交媒体谣言以极低的成本在互联网中被快速扩散,给社会带来显著的负面影响.传统的谣言检测模型主要考虑传播模式、写作风格、用户信用和世界知识等信息.然而,谣言的传播模式通常难以被捕捉,写作风格却容易被模仿,由元数据(如职业、家乡、学历、年龄等)构成的用户信息也容易被伪造.本文提出了一种新颖的知识驱动的图卷积神经网络谣言检测模型.该模型首先将社交媒体文本表示成一种语义–实体无向图结构,其中节点包含原社交媒体文本中的词语,利用世界知识库扩展的实体词语,以及利用语言知识库扩展的语义词语,边包含三类节点的6种有效组合.该语义–实体图可以有效地增强任意两种节点的共现性,从而丰富了原社交媒体文本的表示,从一定程度上缓解数据稀疏共现问题.语言知识利用了HowNet (义原和同义词)以及WordNet (上义词、下义词和同义词)分别对中英文社交媒体文本的主题词进行扩充.并成功地将语言知识和实体知识通过图卷积神经网络框架有效集成.在4个国际基准中英文谣言语料库上的实验结果和可视化分析表明了本文模型的有效性.

关键词 语言知识; 世界知识; 主题模型; 图卷积神经网络; 谣言检测; language knowledge; world knowledge; topic model; graph convolutional neural networks; rumor detection;

摘要 认知健康是大脑健康的重要组成部分,与个体全生命周期的正常发展密切相关.目前,非受限普适场景下的认知能力评估已成为实现认知障碍相关疾病早期预警的重要途径.然而,在医疗、家庭等不同计算场景下,因感知设备、认知评估流程等的不同,往往存在不同场景间评估模型相互适用难的问题.针对以上跨场景认知能力评估挑战,本文提出了一种参数自适应的细粒度迁移学习方法 PAFG-TL.PAFG-TL基于随机森林模型实现,通过参数自适应的个体分类器评估策略和领域自适应的决策树生长机制实现参数无关的个体分类器聚类评估和决策树细粒度进化生长.通过在临床认知评估和公开基准数据集上进行实验验证,证明了PAFG-TL方法在跨场景认知能力评估中的有效性.

关键词 参数自适应; 细粒度; 迁移学习; 跨场景; 认知能力评估; parameter adapative; fine-grained; transfer learning; cross-scenario; cognitive ability assessment;

摘要 联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.

关键词 联邦学习; 进化策略; 模型编码; 网络剪枝; 本地个性化; federated learning; evolution strategy; model encoding; network pruning; local customization;

摘要 联邦学习允许资源受限的边缘计算设备协作训练机器学习模型,同时能够保证数据不离开本地设备,但也面临着异构数据下全局模型收敛缓慢甚至偏离最优解的挑战.为解决上述问题,本文提出一种自适应个性化联邦学习(adaptive personalized federated learning, APFL)算法,在同时包括空间和时间维度的多任务学习框架下,考虑面向异构数据的联邦优化问题.首先, APFL采用参数分解策略,将待训练模型参数分解为全局共享参数和客户端特定参数,在提取所有客户端公共知识的同时实现针对每个客户端的个性化建模.进一步地, APFL将每个客户端上执行的局部优化构建为顺序多任务学习,通过对全局共享参数的更新施加弹性权重巩固(elastic weight consolidation, EWC)惩罚,实现了全局共享模型中重要参数的记忆保留和非重要参数的快速学习.多个联邦基准数据集上的对比实验验证了本文方法的有效性和优越性.

关键词 联邦学习; 边缘计算; 异构数据; 多任务学习; 持续学习; 参数分解; 个性化; federated learning; edge computing; heterogeneous data; multi-task learning; continual learning; parameter decomposition; personalization;

摘要 从概率框架的角度来看,生成模型首先由数据学习联合概率分布,然后再求出条件概率分布,通常具有更快的收敛速度;而判别模型由数据直接学习条件概率分布,往往具有更高的准确率.生成–判别混合模型作为二者的有效结合,同时集成了它们的优点.然而,现有方法在构建混合模型时,需要将原始特征划分为两个独立的特征空间,分别用于训练生成模型和判别模型.特征划分不仅提升了模型的时间复杂度,还削弱了原始特征空间的表达能力.为了解决这一问题,本文提出了一种基于特征增广的生成–判别混合模型构建方法.该方法首先利用生成模型学习条件概率分布,然后将学到的条件概率分布作为新特征增广到原始特征空间中,最后在增广后的特征空间中训练判别模型并预测最终的分类结果.该方法利用特征增广的思想做模型混合,无需对原始特征进行划分,具有较低的时间复杂度,同时还增强了原始特征空间的表达能力.在36个经典UCI标准数据集上的实验结果表明,所提方法不仅具有有效性和通用性,还遵循了偏差–方差权衡原则.

关键词 生成模型; 判别模型; 特征增广; 条件概率分布; 偏差–方差权衡; generative model; discriminative model; feature augmentation; conditional probability distribution; bias-variance trade-off;

摘要 知识图谱嵌入是知识图谱研究中的一项重要课题.它旨在根据已观测到的三元组,学习知识图谱中实体与关系的低维向量表示.知识图谱嵌入在许多下游任务中发挥了巨大作用,例如知识图谱补全、三元组分类.如今,深度模型利用神经网络强大的非线性拟合能力,在知识图谱嵌入领域展示出了优异的性能.然而,现有的大多数方法忽略了实体与关系之间的多尺度特征交互, InceptionE是目前唯一考虑到了多尺度交互特征的模型,但由于大量的计算开销导致其很难进行训练.本文提出了一种全新的知识图谱嵌入模型MDCE,它使用多尺度空洞卷积核在不同的尺度空间捕捉丰富的交互特征.同时, MDCE相比于InceptionE方法的计算开销更小.我们在多个基准数据集上进行了大量实验.在链接预测任务上的结果表明, MDCE不仅在性能方面超过了已有的工作,而且更加高效、稳健.

关键词 知识图谱; 知识图谱嵌入; 深层模型; 多尺度特征; 链接预测; 人工智能; knowledge graph; knowledge graph embedding; deep model; multi-scale feature; link prediction; artificial intelligence;

摘要 不完全多视图聚类是通过结合多视图数据的异构不完全特征来获得数据本征结构,从而提高聚类性能的一种学习范式.在实际应用中,各个视图除了缺失某些完整样本外,还会受到缺失值与异常值的影响,使得大部分传统的不完全多视图聚类方法失效.为解决上述问题,本文提出一种基于独立自表达学习的不完全多视图聚类方法.该方法通过自表达重构,补全缺失的特征的同时学习视图独有的自表达矩阵,然后为自表达矩阵添加低秩约束,更好地挖掘本征结构,并通过引入希尔伯特–施密特独立性准则来衡量不同视图间的差异性.多个数据集上的实验结果表明,所提方法在大多数情况下能取得较对比方法更优的聚类结果.

关键词 不完全多视图聚类; 特征任意缺失; 自表达; 差异性; incomplete multi-view clustering; arbitrary missing feature; self-presentation; diversity;

摘要 概率模型为机器学习处理广泛存在的不确定性提供了强大的工具.概率编程利用计算机程序表示概率模型,支持采样和以任意观察值为条件进行的概率推断.长期以来,概率程序中的依赖关系往往是线性或广义线性的,许多成功的模型和推断算法往往都依赖于这一简化.然而,这也限制了概率程序的表达能力和灵活性.可微概率编程允许构建具有参数化的非线性依赖关系(如神经网络)的概率程序,并使用基于梯度的方法从数据中学习未知参数.这种编程范式容易扩展,极大地避免了繁琐的模型选择过程,且允许端到端地部署概率模型.本文介绍珠算(ZhuSuan),一种开源的可微概率编程库,并以此为例,探讨可微概率编程系统的设计与实现.

关键词 概率模型; 概率编程; 贝叶斯推断; 变分推断; 深度学习; probabilistic models; probabilistic programming; Bayesian inference; variational inference; deep learning;

摘要 强化学习(reinforcement learning, RL)技术经历了数十年的发展,已经被成功地应用于连续决策的环境中.如今强化学习技术受到越来越多的关注,甚至被冠以最接近通用人工智能的方法之一.但是,客观环境中往往不仅包含一个决策智能体.因此,我们更倾向于以多智能体强化学习(multi-agent reinforcement learning, MARL)为技术手段,应对现实的复杂系统.近十年来,多智能体系统(multi-agent system, MAS)和强化学习的结合日渐紧密,逐渐形成并丰富了多智能体强化学习这个研究方向.回顾MARL的相关工作,我们发现研究者们大致从学习框架的讨论、联合动作学习,以及基于通信的MARL这3个角度解决MARL的问题.而本文重点调研基于通信的MARL的工作.首先介绍选取基于通信的MARL进行讨论的原因,然后列举出不同性质的多智能体系统下的代表性工作.希望本文能够为MARL的研究者提供参考,进而提出能够解决实际问题的MAS方法.

关键词 强化学习; 多智能体系统; 部分可观测环境; 多智能体通信; 协同控制; reinforcement learning; multi-agent system; partially observable environment; multi-agent communication; coordinated control;

摘要 随着互联网和移动计算等技术的发展,人们的在线行为产生了越来越多的数据,想要从海量数据中挑选出用户可能喜欢的物品,推荐系统不可或缺.然而传统的推荐算法需要将用户数据收集到服务端才能构建模型,这会泄露用户隐私.最近,谷歌针对机器学习任务中需要收集用户数据才能进行建模的问题,提出了一种新的学习范式——联邦学习.联邦学习与推荐系统相结合,使得联邦推荐算法能够在模型构建过程中,始终将用户数据保留在客户端本地,从而保护了用户隐私.本文主要对联邦学习与推荐系统相结合的研究工作进行综述,并从架构设计、系统的联邦化和隐私保护技术的应用3个角度重点分析联邦推荐算法的研究进展.最后,对基于联邦学习的推荐系统可研究的方向进行展望.

关键词 推荐系统; 联邦学习; 隐私保护; 联邦推荐; 协同过滤; recommender systems; federated learning; privacy protection; federated recommendation; collaborative filtering;

摘要 卷积神经网络目前在人工智能多个领域均取得了不同程度的进展.卷积计算是基于参数共享的滑窗机制,这导致卷积神经网络更多地关注特征信息的局部关系,对全局关系的建模能力有限.局部关系和全局关系对特征的表达均具有重要的作用.为此,本文聚焦于如何对特征信息的局部–全局关系进行构建并有效耦合,从而挖掘更加丰富的特征信息,提高特征的判别性.本文提出了局部–全局关系耦合模块,该模块是由特征提取、基于深度卷积(depth-wise convolution, DWConv)的局部关系构建分支、基于多头自注意力机制(mutli-head self-attention, MHSA)的全局关系构建分支和基于点向卷积(point-wise convolution, PWConv)的关系耦合4部分组成.基于此模块,本文构建了编解码结构的局部–全局关系耦合神经网络,该网络可以对特征信息的局部–全局关系进行建模,增强特征信息的表征能力,进而提升模型的性能.为验证所提算法的有效性,本文在低照度图像增强任务上,使用基准数据集与其他算法进行了实验对比.实验结果表明,本文所提出的方法取得了较好的图像增强结果,优于当前先进的图像增强方法.最后,本文通过消融实验和扩展实验从多个角度进一步验证了有效耦合局部–全局关系的重要性和可扩展性.

关键词 低照度图像增强; 局部–全局关系; 计算机视觉; 卷积神经网络; 深度学习; low-light image enhancement; local-global relationship; computer vision; convolution neural network; deep learning;

摘要 卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入到卷积核剪枝的过程中,在每次训练迭代中根据重要性和压缩率将卷积核分成两类并对它们分别用不同的更新策略.对于冗余参数,此策略将目标函数反传的梯度进行截流,仅使其权重逐渐衰减直至为零.本文在VGGNet和ResNet两种网络框架上对此剪枝算法进行验证.结果表明:本算法不仅能够在分类精度、计算量、参数量和任务相关特征的保留程度上优于当前主流剪枝算法,而且在高压缩率情况下表现优越.

关键词 卷积神经网络; 压缩; 剪枝; 任务相关特征; 梯度流; convolutional neural networks; compressing; pruning; features related to task; gradient flow;

摘要 群体智能是自然界普遍存在的现象,受到了国内外研究者的广泛关注.网络和人工智能技术的高速发展,使得大规模群体在网络上通过个体智慧激发和群体智慧汇聚形成超越个体能力的群体智能成为可能.随之而来,如何认知和形成这样的群体智能系统成为了研究的热点.本文将在广义群体智能的概念体系之下,探索群体智能系统的度量理论和方法,以此来促进对群体智能形成机理的更深层认知.本文提出了群体智能系统的基本特性以及其形成的激发汇聚建模,指出群体智能系统实质上是一类复杂非线性动力学系统,包含微观个体激发、宏观群体协作、全局群智汇聚3个核心动力学属性.并以此为基础,讨论了群体智能系统群体熵度量所应满足的基本性质.最后以图的群体化搜索为例,说明了群体的激发和汇聚过程,以及在此过程中如何通过群体熵来度量群体行为的变化,验证了本文提出的群体熵度量思想的有效性.

关键词 群体智能系统; 动力学模型; 群体熵; 度量; 激发; 汇聚; crowd intelligence system; dynamic model; crowd entropy; measurement; incentive; convergence;

摘要 基于间隔的聚类是一类经典的聚类算法,此类算法假设聚类结构能通过引入监督学习中的间隔来确定.即一个好的聚类结果,当以其簇标记作为类别标记进行监督学习时,所得分类器产生的关于间隔的目标物理量也同时达到最优.目前最为有效的间隔物理量是间隔分布,其基于最新的间隔理论,取得了比优化最小间隔更好的效果.然而在现实聚类任务中,我们往往还能获得一些额外的监督信息,例如两两样本之间的"必连"约束和"勿连"约束,此时优化间隔分布是否还有效尚未可知.对此,本文提出面向半监督聚类的最优间隔分布学习机(ODMSSC),对该问题进行初步探索. ODMSSC对应的形式化是一个混合整数规划,我们将其放松成一个鞍点问题,并提出一种高效的交替优化方法进行求解.最终通过真实数据集上的实验,我们验证了所提算法的有效性.

关键词 半监督聚类; 约束聚类; 最优间隔分布学习机; 间隔分布; 间隔; semi-supervised clustering; constrained clustering; optimal margin distribution machine; margin distribution; margin;

摘要 无监督异常检测(unsupervised anomaly detection, UAD)旨在检测任何未见过的偏离预期模式或正常分布的数据,由于其学习过程不依赖对罕见异常样本的获取,因此在现实动态环境下备受青睐.然而,在现实场景中,目标任务往往会随时间动态变化,这要求模型能够连续执行多个不同的UAD任务,确保在仅有当前任务正常数据的前提下,实现对所有见过任务的异常检测.本文旨在研究这一问题,尝试从互信息角度,提出一种新的连续UAD (CUAD)算法.具体而言,我们针对原始目标依赖过往任务原始数据和异常数据的问题,给出基于信息论的损失函数,并对其进行近似优化.据此,我们构建出来的深度编码器模型既能连续执行不同的UAD任务,又能有效应对连续学习带来的灾难性遗忘问题.最后,我们在多个标准数据集上的实验验证了所提出方法的优越性.

关键词 异常检测; 无监督; 灾难性遗忘; 连续学习; 信息论; anomaly detection; unsupervised; catastrophic forgetting; continual learning; information theory;

摘要 目前,许多基于深度学习和神经网络的算法被应用于脑电(electroencephalogram, EEG)信号情感识别.然而,现有研究大多采用提取单维脑电信号特征的方法.随着多传感技术的更新,更具全面性和系统性的多维信号特征提取需求出现.本文尝试将复杂网络研究应用到多维情感脑电识别中,提出一种基于水平可视图多元联合模体熵的情感识别算法,该方法可以有效避免人工选取特征对实验结果的影响,保持原始序列的非线性动力学特征.首先利用水平可视图算法将多维情感脑电信号分别转换为多路可视图网络,提取模体熵特征识别情感脑电研究中的关键频带和关键通道.在此基础上,将水平可视图网络两两联合,提取多元水平联合模体熵向量,作为输入参数对情感脑电信号进行识别.由于情感脑电序列长度会对识别效果产生影响,我们将脑电信号切割成大小不一的窗口,对比不同窗口大小对分类准确率的影响.实验结果表明,当切割窗口大小为10 s时,多元水平联合模体熵对情感脑电信号的识别效果最佳,对积极脑电/消极脑电、积极脑电/中性脑电、消极脑电/中性脑电的分类准确率分别达到95.07%, 97.73%, 90.26%,优于其他二维连接参数.同时,三分类的准确率为93.67%,本文算法无论在识别复杂度和准确率上,与已有算法相比均有较大提高.

关键词 EEG; 多路水平可视图; 多元联合模体熵; 情感识别; 多维分析; multiplex horizontal visibility graph; multivariate joint motif entropy; emotional recognition; multivariate analysis

摘要 越来越多的证据表明,环状RNA (circular RNA, circRNA)在人类复杂疾病发病机制和许多重要生物学过程中发挥不可或缺的作用.确定环状RNA与疾病之间关联对于复杂人类疾病的诊断和治疗具有重要的潜在价值.然而,传统的湿实验方式通常是盲目、低效、耗时且昂贵的,往往还伴随着高的假阳性率.因此,迫切需要有效和可行的计算方法来大规模预测潜在的环状RNA–疾病关联.本文通过结合图神经网络的高阶图卷积网络算法与随机蕨分类器对环状RNA与疾病之间的关联关系进行预测.该方法能够从环状RNA和疾病多种属性信息构建的多源相似性网络中,有效抽取具有高阶混合邻域信息的高级特征,并对其进行准确分类.在5折交叉验证实验中,该方法在CircR2Disease数据集上取得了93.75%的AUC得分.此外,在案例研究中,该模型的预测结果得到了生物湿实验的支持,预测得分前15的环状RNA–疾病关联中的13个在最近发表文献中得以证实.这些优异的结果表明,所提模型是预测环状RNA–疾病关联的有效工具,并且可以为生物湿实验提供理论依据和高可信的环状RNA候选生物标志物.

关键词 环状RNA; 图神经网络; 环状RNA–疾病关联; 高阶图卷积网络; 随机蕨; circRNA; graph neural network; circRNA-disease association; high-order graph convolutional network; random ferns

摘要 从大规模生物组学数据中准确识别导致癌症发生的协同驱动模块是生物信息学研究领域重大课题之一.现有研究方法通常只基于批量组学数据进行识别,忽视了细胞水平上的癌症异质性,易受噪声影响.针对上述问题,本文提出了一种基于单细胞数据和先验知识指导的协同驱动模块识别方法CDMFinder.该方法首先利用基因在不同亚型及正常细胞表达数据间存在的特异性共表达信息,融合基因交互网络,优化形成分子功能关联网络,在深入挖掘基因间功能关联的同时有效降低网络复杂度;再基于重叠马尔可夫(Markov)聚类从该网络中挖掘功能簇,并提出基于融合权重和贪心策略的驱动模块识别方法,从功能簇中获得驱动模块集合;最后,融合功能交互网络与突变共现定义模块距离函数,识别获取协同驱动模块. CDMFinder充分融合评估了表达、突变、差异分析等多种因素,展现了优良的识别性能.在乳腺癌和胶质母细胞瘤多组学数据上的实验结果表明,本文方法能够识别出超过对比方法 1.35倍的驱动基因,识别到的协同驱动模块在功能/通路水平富集度上超过现有算法1.5倍.

关键词 单细胞数据; 协同驱动模块; 分子功能关联网络; 马尔可夫聚类; 多组学数据融合; single-cell data; cooperative driver module; molecular functional association network; Markov clustering; multi-omics data fusion;

摘要 本文针对当前指代视频目标分割方法缺乏目标时空一致性建模和目标时空表征学习不足等问题,进行了深入的研究,提出了基于时空层级查询的指代视频目标分割方法 (STHQ).本文将指代视频目标分割看作基于查询的序列预测问题,并提出两级查询机制进行目标的时空一致性建模和时空特征学习.在第1阶段,本文提出了帧级空间信息提取模块,该模块使用语言特征作为查询独立地和视频序列中的每一帧在空间维度进行信息交互,生成包含目标空间信息的实例嵌入;在第2阶段,本文提出时空信息聚合模块,该模块使用视频级的可学习查询嵌入和第1阶段生成的实例嵌入在时空维度进行信息交互,生成具有时空表征信息的视频级实例嵌入;最后,视频级实例嵌入线性变换为条件卷积参数,并和视频序列中的每一帧进行卷积操作,生成目标的掩码预测序列.在该领域的3个基准数据集上的实验结果表明,本文提出的STHQ方法超越了现有的方法,实现了最佳的性能.

关键词 指代视频目标分割; 时空一致性建模; 时空特征学习; 跨模态特征交互; Transformer; referring video object segmentation; spatio-temporal consistency modeling; spatio-temporal feature learning; cross-modal feature interaction

摘要 本文致力于设计一个有效且高效的伪装物体分割(camouflaged object segmentation, COS)模型.为此,本文开发了一个生物启发的框架,称为金字塔定位和聚焦网络(pyramid positioning and focus network, PFNet+),其模仿了自然界中的捕食过程.具体地,本文的PFNet+包含3个关键模块,即上下文增强模块(context enrichment, CEn)、金字塔定位模块(pyramid positioning module, PPM)和聚焦模块(focus module, FM). CEn通过整合上下文信息来增强骨干特征的表征能力,从而提供更有辨别性的骨干特征. PPM模仿捕食中的检测过程,以金字塔的方式从全局的角度定位潜在的目标物体.然后FM执行捕食中的识别过程,通过在歧义区域的聚焦逐步细化初始的预测结果.值得注意的是,在FM中,本文开发了一个新颖的分心挖掘策略,用于分心区域的发现和去除,以提高预测的性能.大量的实验证明本文的PFNet+能够实时运行(56 fps),在4个标准度量指标下, PFNet+在3个具有挑战性的数据集上都显著优于现有的20个最新模型,在其他视觉任务(如息肉分割)上的实验进一步证明了PFNet+的泛化能力.

关键词 伪装物体; 分心; 上下文增强; 上下文探索; 金字塔; 分割; camouflaged object; distraction; context enrichment; context exploration; pyramid; segmentation

摘要 近年来,图像生成技术取得了令人瞩目的发展,目前的图像生成方法大多以像素填充的方式生成图像,缺乏艺术家逐笔绘制的过程,使其在局部笔触细节与纹理上与真实艺术作品有所不同.神经绘画致力于模仿人类艺术家以画笔为单位,逐笔绘制的作画过程.现有的神经绘画方法大多使用贝塞尔曲线或者笔触模板进行仿射变换来模拟真实笔触.然而,贝塞尔曲线纹理的缺乏以及仿射变换的线性性质,导致生成的笔触在纹理或者形状上存在较大的限制.为了更好地模拟真实笔触的纹理与形状,本文提出了新的基于薄板样条插值的弯曲笔触参数模型,通过对真实笔触模板先后进行弯曲与仿射变换,可以生成更加真实、多样的笔触图像.此外,本文提出了层次化的笔触优化方法,将整幅图像分解为由大到小的多个笔触,能够有效提升模型对图像整体架构与局部细节的绘画能力.最后,本文将提出的方法拓展至风格迁移中,实现了较好的风格迁移效果.定性与定量的实验表明,本文所提出的新的笔触模型与优化方法在神经绘画及风格化任务中都超越了已有的最佳模型.

关键词 神经绘画; 薄板样条插值; 弯曲笔触; 层次优化; 风格迁移; neural painting; thin plate spline; curved stroke; layer optimization; style transfer

摘要 随着无人机以及激光雷达在测绘领域的大规模应用,大量的城市场景稠密三维网格模型被生产出来,对其进行建筑物单体分割与结构化重建是计算机图形学领域极具挑战性的研究问题.本文对此提出了一种城区场景建筑物单体分割与结构化重建耦合处理的方法.首先,本文基于马尔可夫(Markov)随机场从场景中提取建筑物轮廓;然后,基于提取出的建筑物轮廓以及人造建筑竖直方向的规则性,引入了一种新的建筑物结构化模型——多层轮廓模型;最后,设计了一个自顶向下的城区场景建筑物单体分割与结构化重建耦合处理的并行系统,该系统能够高效地处理大规模城区场景.实验结果表明,本文方法生成的结构化模型最高实现了厘米级的精度.

关键词 建筑物单体分割; 结构重建; 耦合处理; 城市场景理解; 马尔可夫随机场; building instance segmentation; structural reconstruction; coupled processing; urban scene understanding; Markov random field

摘要 基于骨架数据的细粒度人体动作识别是一项重要的研究课题,但未被充分解决.由于骨架数据缺乏视觉表观信息,相似类别的人体动作很难被现有的深度网络模型识别.在这项工作中,我们提出了一个新型的运动显著性探测器(motion salience prober, MSP),并引入了配对学习(motion salience prober-incorporated pairwise-learning, MSP-PL)框架,以实现细粒度的骨架动作识别.我们的MSP-PL框架在构造成对的相似骨架运动样本基础上(查询样本与探测样本),利用运动显著性学习机制,促进编码器学习精细化的运动特征.其核心模块MSP可以在我们设计的探测样本和损失函数的帮助下,增强查询样本的显著性运动特征,并消除冗余的噪声.本文设计了3种探测样本构造策略来生成查询–探测样本对,辅助模型识别查询样本的动作,并测试了它们对模型性能的影响.在NTU-RGB+D120数据集与Kinetics-Skeleton数据集上的大量实验表明,我们的MSP-PL框架是通用的,大多数骨架特征编码器可以无缝嵌入其中,并显著提高其准确性. 5个主流的编码器对精细化动作的平均分类准确率提高了2.4%以上.此外,我们的MSP-PL框架在与最新的编码器相结合时,在骨架动作识别方面达到了最先进的性能.

关键词 骨架动作识别; 细粒度动作识别; 视觉注意力; 运动显著性学习; 对比学习; skeleton action recognition; ne-grained action recognition; visual attention; motion salience learning; contrastive learning

摘要 说话人视频的情感编辑是计算机视觉和图形学当前研究热点之一,其目的是将一段中性情感的人物说话视频转为带有目标情感的说话视频.已有的方法难以同时兼顾高清晰度情感编辑、人脸三维属性的保持以及模型对不同目标人物的适用性.为同时满足上述要求,本文提出基于Basel人脸模型(Basel face model, BFM)条件的几何编辑网络作为几何情感编辑模块,保证了几何编辑在不同目标人物场景下的通用性;提出了基于人物分类器的纹理情感编辑模块,使得精细纹理的编辑可以迁移到多人任务之中,突破了以往情感编辑模型仅适用特定目标人物或适用多人模型生成质量不高的局限性.本文提出的模型可以实现连续控制情感编辑强度的效果.实验结果表明,本文提出的通用情感编辑模型在多人任务上的清晰度、人物保真度、情感编辑质量等各项指标均优于已有可适用于多人情感编辑的方法,并且在训练集中未出现的目标人物上也能实现自然的情感编辑,甚至在未见的人脸位姿的说话视频中也能获得合理的结果.

关键词 情感编辑; 三维重建; 深度学习; 计算机视觉; 神经网络; emotional editing; 3D reconstruction; deep learning; computer vision; neural network

摘要 有向目标检测是计算机视觉中的一个研究热点,在遥感、场景文字等领域具有广泛应用.大长宽比、密集排列以及任意方向等问题是该领域目标检测面临的主要挑战.本文提出了一种基于单阶段检测方法的级联有向检测器R~3DetGauss,采用一种从粗到细的渐进式回归方法快速准确地定位目标.考虑到级联检测器中存在的特征不对齐的问题,本文设计了一个特征精修模块(feature refinement module, FRM),能够获得更准确的特征,从而提高检测性能. FRM通过逐像素特征插值将当前精修后的边界框的位置信息重新编码到对应的特征点,进而实现特征的重构和对齐.本文还采用了具有尺度不变性的归一化高斯Wasserstein距离作为回归损失来进一步提高估计边界框的质量.此外,本文基于该距离提出了长宽比感知的自适应样本采样策略,提高了样本分配的质量.在多个公开的图像数据集上的大量实验结果表明,所提出的R~3DetGauss检测器在多种数据集上均能够进一步提升精度,并最终达到当前先进检测水平.相关代码在国产深度学习Jittor框架、PyTorch和TensorFlow中均进行了开源发布.

关键词 有向目标检测; 计算机视觉; 特征精修模块; 分布距离; 标签分配; 回归损失; oriented object detection; computer vision; feature refinement module; distribution distance; label assignment; regression loss

摘要 非接触式的多人三维动作捕捉技术在影视动画、游戏、虚实互动、体育运动和生物医学分析等领域有着广泛的应用.现有的国内外相关论文多数聚焦在算法创新,而缺少整体视角下的系统分析与构建.为此,本文提出了一种非约束环境下的轻量级多人三维动作捕捉系统,该系统便于组装,仅需少量的(4～6个)普通相机或摄像头,并且适用于一般的室内外环境,对场景中的背景和人物对象的着装没有特殊要求.首先,为了提升三维人体动作捕捉的精度,设计并实现了一个鲁棒的基于多视图的多人三维姿态估计算法,它充分利用了多视角的信息互补,并引入了一个跨帧连贯性约束来过滤异常的二维人体关节点检测结果以抑制其对三维人体姿态估计的影响.其次,围绕多视图数据的实时采集与传输及其有效处理,构建了一套轻量级的硬件系统,同时提出了一种数据流向可控的模块化并行处理机制,最终实现了一个灵活、易维护扩充且高效的软硬件系统框架.最后,基于多个公开数据集与自采数据集,通过大量实验,充分验证了本文所提出算法与系统的准确性、高效性和鲁棒性.

关键词 动作捕捉; 非接触式动捕; 实时动捕; 多人三维姿态估计; 跨视角姿态关联; motion capture; markerless motion capture; realtime motion capture; multi-person 3D pose estimation; cross-view pose association

摘要 光流估计是计算机视觉的核心任务.近年来,基于卷积神经网络的光流估计方法已取得很大成功,然而由于现有模型的卷积感受野有限,难以建模远距离的依赖关系,导致在大位移和局部歧义性区域的光流估计效果较差.此外,现有方法在光流上采样过程采用的插值操作会导致误差的传播放大,进而引起光流估计的运动边缘模糊等问题.针对以上问题,本文提出了一种基于局部–全局建模与视觉相似引导上采样的光流估计方法.首先,引入一个高效且简单的自注意力机制加强光流计算网络的局部和全局建模能力.通过提取更具有表达力的图像特征,降低因大位移和局部歧义性导致的光流估计误差问题.其次,基于物体视觉特征越相似,运动也越相似的假设,构建视觉相似引导的光流上采样网络模型.将特征的视觉相似性转化为运动的相似性进而指导光流上采样过程,提高了运动边界区域光流估计的精度.最后,分别采用MPI-Sintel和KITTI数据库测试图像集对本文方法和最先进的深度学习光流计算方法进行综合对比分析.实验结果表明,本文方法在所有对比方法中取得了最优的光流计算结果,尤其在大位移和运动边界区域显著提升了光流计算的精度.

关键词 光流估计; 卷积神经网络; 自注意力; 上采样; 视觉相似引导; optical flow estimation; convolutional neural networks; self-attention; upsampling; visual similarity guidance

摘要 随着人工智能技术的高速发展,计算机视觉与图形学等相关学科的交叉融合掀起了一场数字人生成技术的新革命,人类进入“元宇宙”等数字空间的梦想正逐渐变为现实.面对大规模三维数字人的生产需求,传统图形学建模方法建模过程繁琐,周期冗长,阻碍了虚拟数字人的普及和应用,而利用生成式人工智能技术产生高拟真、规模化的虚拟数字人正逐渐成为研究热点.为了深入了解三维数字人技术的研究现状与挑战,本文从生成式模型的视角对数字人技术进行了系统性梳理,并总结了其中的3个关键步骤:表示、渲染与学习.随后,对显式及隐式的表示方法进行总结,对传统渲染与神经网络渲染的成像方式进行归纳,并概括了相应的模型学习方法.最后,本文对三维数字人的典型应用进行分析,并对当前挑战与未来发展方向进行总结和展望.

关键词 三维数字人; 生成模型; 隐式表示; 神经渲染; 对抗学习; 3D digital human; generative model; implicit representation; neural rendering; adversarial learning

摘要 作为图像处理领域的热点技术,图像翻译可将图像由源域迁移至目标域,实现图像风格的转换.然而,在诸如真实人脸与卡通人脸、街道实景与街景分割图等图像翻译应用中,源域与目标域间往往存在巨大差距,域间的冗余信息和不一致特征会增加转换的难度,降低转换质量.本文提出对齐遗忘机制并设计多个损失函数,通过构建简易高效的信息不平衡图像翻译算法框架,实现了域编码与域解码.具体地,在将源域和目标域信息对齐映射至共享语义空间后,本文在对齐遗忘机制中使用互信息(mutual information)删除域间不一致特征,同时保留相同特征.实验结果表明,本文方法可有效剔除冗余信息,提高域间信息一致性.此外,本文在多个代表性信息不平衡图像数据集上验证了新算法较已有算法的优越性.

关键词 图像处理; 图像翻译; 生成对抗网络; 不平衡信息; 注意力机制; image processing; image-to-image translation; generative adversarial networks; imbalanced information; attention mechanism;

摘要 事件相机是一种用脉冲表达信息的仿生成像传感器,具有高时域分辨率、高动态范围、低功耗和高速率等优势.由于事件驱动特性,传统人工神经网络(artificial neural networks, ANN)无法直接处理事件相机输出的脉冲信号.而脉冲神经网络(spiking neural network, SNN)作为一种神经形态计算方法,具有高时域分辨率及事件驱动的特性,这与事件相机高度契合.但是,深层脉冲神经网络需要消耗大量存储空间以及神经元计算资源,严重限制了其在边缘计算场景的部署.本文基于特征维度映射原理,提出面向嵌入式系统的轻量化脉冲神经网络,降低存储需求、提高运行效率并提高网络性能.首先,通过分析网络参数量与网络拟合功能间的关系,明确了约束脉冲神经网络能力的参数瓶颈问题.随后,基于低维特征提取–融合策略提出一种通用轻量化特征提取结构SpikeFire,该模块在保证感受野和特征维度等基本性质不变的前提下大幅减少了网络参数.此外,模拟脑神经元复杂连接特性,模块中采用跳层连接,这既增加多尺度信息提取又有助于深层次网络的优化.最后,将本文所提轻量化网络部署在嵌入式硬件中,开发出了事件驱动的成像识别一体化系统.实验表明,无论是在公开数据集还是自建真实场景和极端成像场景中,所提方法在保证识别性能的前提下大幅减少了参数量并提高运行速度.

关键词 脉冲神经网络; 事件相机; 轻量化网络; 特征融合; 嵌入式硬件; spiking neural network; event camera; lightweight network; feature fusion; embedded hardware;

摘要 自主地探索未知室内场景并同时构建地图,是机器人完成许多应用任务的必备前提.基于深度强化学习的方法通过与环境交互的方式,让机器人学会利用室内场景的结构规律,因而有希望获得更加高效和鲁棒的探索策略.现有的方法通常直接控制机器人的运动,导致较长的决策序列,并需要大量的训练样本;或者间接指定长期目标点,却难以保证其可以到达,因而也阻碍了训练的进行.针对这些问题,提出了一种基于经验增强的自主场景探索方法以加速策略的训练并生成更加高效的探索目标.首先引入off-policy的强化学习算法和经验回放缓存机制;然后利用全局探索策略指定长期目标点;接着利用增量启发式寻路算法生成前往目标点的无碰撞路径;在此基础上对每一条探索路径分段并评估子路径的奖励,从而改进已有经验;最后利用时序差分误差对经验进行过滤,并加入经验回放缓存中.该方法能从原本失败的经验中推导出正确的行为,并生成易于到达的长期目标点.实验结果表明,本文方法不仅能明显加速全局探索策略的训练,还能提升训练后系统的整体性能.

关键词 自主场景探索; 深度强化学习; 经验增强; 路径规划; autonomous scene exploration; deep reinforcement learning; experience enhancement; path planning;

摘要 小样本学习作为计算机视觉的新兴研究热点,旨在通过少量的已知样本实现对全新概念的快速识别和理解.现有的小样本学习技术只针对给定的新类别物体进行分类和识别,忽略了旧有基础类别的表示和区分.针对小样本增量学习问题中的类间可区分性差、增量类别难泛化两大研究难点,本文引入局部关系学习的思想,提出局部关系泛化表征的模型学习方法.为确保增量过程中的类别可区分性,本文首先使用局部空间关联约束增量表征能力,在此基础上,使用特征重映射方法将查询向量与支撑集映射在同一度量空间,有效确保了微小差异的可区分性.同时,为缓解增量过程中样本不足导致的归纳偏置问题,本文提出空间泛化式原型生成算法,利用分布特性快速生成虚拟原型,促进样本的有效表征.在此基础上,本文利用元学习训练方法,提出了局部泛化联合的增量学习框架,通过联合基础类别的局部表征和增量类别的快速泛化约束,有效缓解了灾难性遗忘和表征不足的困难,实验证明本方法在经典小样本增量任务中取得了当前最好的性能表现.

关键词 小样本学习; 增量学习; 局部关系; 泛化表征; 元学习; few-shot learning; incremental learning; local relationship; generalized representation; meta learning;

摘要 模型窃取攻击旨在获得一个和目标受害模型功能相似的替代模型.现有的方法主要采用数据生成或数据选择方法和交叉熵损失函数去获得一个较好的攻击效果.据此,本文着重研究了攻击过程中这两个极为重要的模块:数据采样和损失函数.同时,本文提出了一个新颖的模型窃取攻击方法S&W,其包含了一种新的采样策略和一个精心设计的加权损失函数.首先,新的采样策略更加关注于从受害者模型中获得更多信息的重要样本.与此同时,本文通过引入k-Center算法达到选择样本的多样性的目的.其次,受到经典Focal损失函数的启发,本文设计了一种新的加权损失函数.该损失函数主要关注于受害者模型和替代模型对于相同输入所给出的输出之间的差异,从而促使替代模型模拟受害者模型.在4个常用的数据集上,我们通过实验证明了本文提出的方法的有效性.相比于之前最好的方法,本文方法最高有5.03%的性能提升.

关键词 计算机视觉; 模型窃取攻击; 对抗攻击; 主动学习; 知识蒸馏; computer vision; model stealing attack; adversarial attack; active learning; knowledge distillation;

摘要 近年来生成对抗网络(generative adversarial network, GAN)已经展示了它在图像修复任务中修复大面积缺失区域并生成合理语义结果的潜力,但现有方法经常忽略缺失区域的语义一致性和特征连续性,并对不同尺度特征的感知能力不足,因此提出一种基于多尺度稳定场GAN的图像修复模型.该模型的生成单元汲取了U-Net的特点,将稳定场算子嵌入到跳跃连接中以填充编码器特征图中的缺失区域,保持了缺失区域的语义一致性和特征连续性;然后通过多尺度融合计算逐步加强经稳定场算子填充缺失区域的特征图的传递,使得跳跃连接传递的信息不再来自单一的特征图,让模型能够感知高层特征的语义信息.在人脸和自然场景等数据集上的实验结果表明,该模型优于其他的经典图像修复方法.

关键词 图像修复; 生成对抗网络; GAN; 稳定场; 多尺度融合; 深度学习; image inpainting; generative adversarial network; stable field; multi-scale fusion; deep learning;

摘要 高光谱图像超分辨率重建旨在融合高分辨率多光谱图像与低分辨率高光谱图像以得到高分辨率高光谱图像.如何实现二者中空域信息和谱域信息的有效融合是高光谱图像超分辨率重建的关键.受高光谱图像的端元表示模型启发,本文在神经网络中显式地对端元进行建模,并利用其作为纽带实现空域信息和谱域信息的融合.具体来说,本文提出了一个基于Transformer的高光谱图像超分辨率重建网络,利用Transformer结构从低分辨率高光谱图像提取端元信息,并将端元信息融合到高分辨率多光谱图像中,进而完成高分辨率高光谱图像的重建.实验结果表明, Transformer结构的全局感受野增强了网络的长程建模能力,提高了端元提取精度,进而提升了超分辨率重建性能.与已有方法相比,本文所提方法在室内/遥感高光谱数据集上均取得了更优的性能.

关键词 高光谱图像; 图像超分辨率重建; 图像融合; Transformer网络; 端元特征; hyperspectral image; image super-resolution; image fusion; transformer network; endmember feature;

摘要 行人是城市交通场景下的弱势群体,为了避免碰撞,有必要准确地预测他们的动作行为.为此,本文首次提出城市交通场景中行人动作识别这一问题并提出了有针对性的解决方案.首先,我们创建了一个新的行人动作识别数据集(PARD)作为实验的数据基础,并给出了一个有效的基准模型MFVGG,该模型能够以较低的计算成本达到与之前先进人体动作识别方法相当的性能.为了更针对性地解决问题,本文在两个方面对基准模型进行了改进.首先,利用姿态先验来丰富特征表示,构造双流网络融合双分支编码特征.其次,本文引入双流神经架构搜索得到对于这项任务的最优层级网络架构.实验表明,提出的方法的性能超过了一般人体动作识别相关的先进算法.数据集以及代码公布在https://github.com/Yankeegsj/PARD.

关键词 深度学习; 计算机视觉; 动作识别; 网络架构搜索; 姿态估计; deep learning; computer vision; action recognition; neural architecture search; pose estimation;

摘要 视网膜启发的传感器(又称仿视网膜传感器)是近年来新兴的视觉传感器,其通过对场景光强信息进行连续采样,输出高时间分辨率的异步脉冲信号.本文将围绕基于仿视网膜传感器的采样原理进行总结,包括空间对比度传感器、时间对比度传感器、时域积分传感器,以及其他具有附加采样电路的仿视网膜传感器.相对于传统相机,仿视网膜传感器具有高动态范围、高时域分辨率的特征.但是,以1和0 (或-1)形式存储的脉冲信号难以与传统视觉信号兼容.如果把仿视网膜采样看作场景光强的紧凑编码过程,那么视觉信息重建即为视觉信息的解码过程.因此,视觉信息重建可以成为一个连接仿视网膜传感器与传统视觉的桥梁.近年来,出现了一些利用异步脉冲信号进行图像重构的算法,通过对脉冲信号进行一系列处理,可以重构出高时域分辨率的图片.本文综述了仿视网膜传感器的采样原理及分类,总结了目前基于事件相机和脉冲相机的视觉信息重建方法.同时,探讨和展望了仿视网膜采样和视觉信息重建的机遇和挑战,以及可能的发展方向.

关键词 仿视网膜传感器; 仿视网膜采样机制; 神经形态相机; 图像重构; 光流估计; 深度估计; retina-like vision sensor; retina-like visual sampling; neuromorphic camera; image reconstruction; optical flow estimation; depth estimation;

摘要 对抗性攻击是研究深度神经网络脆弱性的前沿技术.然而现有工作大多关注基于加性噪声扰动的攻击,无法代表现实世界中的扰动因素,阻碍了对抗性攻击的实际应用.雾作为现实世界中广泛存在的自然现象,对图像造成显著影响,不可避免地对深度模型构成潜在威胁.本文首次尝试从对抗性攻击的角度研究雾对深度神经网络的影响,并提出两种基于雾扰动的对抗性攻击方法:基于优化的雾扰动对抗性攻击OAdvHaze,在深度神经网络的指引下优化大气散射模型参数,以合成有雾图像,该方法具有较高的攻击成功率.预测式雾扰动对抗性攻击PAdvHaze,采用深度神经网络直接预测雾合成参数,提高了对抗性攻击的速度.本文在ILSVRC 2012和NIPS 2017两个公开数据集上验证了所提出方法的有效性, OAdvHaze和PAdvHaze取得了与最先进攻击方法相当的攻击成功率和可迁移性.该工作将有助于评估和提高深度神经网络对现实世界中潜在雾扰动的鲁棒性.

关键词 对抗性攻击; 图像分类; 雾合成; 深度学习; 图像处理; adversarial attack; image classification; haze synthesis; deep learning; image processing;

摘要 基于图像聚焦信息的三维形貌重建方法通常对微观物体的景深图像序列采用统一的聚焦评价标准,这类重建方法往往会忽视图像序列之间的联系,难以修正图像纹理稀疏或低对比度导致的连续帧深度误差.鉴于三维数据特有的多维度信息关联特性,本文将微观物体的不同景深图像序列视为三维数据,在重建过程中引入全部图像序列之间的关联关系,从三维数据时频变换的视角构造了以多视角分析、稳定性聚类、选择性融合逻辑耦合的微观三维形貌重建框架.首先从理论上分析三维数据相较于传统二维图像处理重建问题的优势,通过构造三维时频变换实现三维数据到不同尺度、区域和方向深度图像之间的映射;然后从增强深度图像特征的角度构建基于多模态纹理特征的局部稳定性聚类算法,实现同质性较好深度图像的自适应选择;最后提出选择性深度图像融合的策略,通过构造层筛过滤平衡树对滤除离散噪声后的多层深度图像进行融合,实现微观物体高精度的三维形貌重建.模拟数据与真实场景数据均验证了本文方法的有效性.三维时频变换视角的智能微观三维重建方法为基于图像聚焦信息的三维形貌重建提供一个崭新的研究视角,在精密制造、亚微米级工业测量等领域具有重要的理论意义和应用价值.

关键词 三维重建; 无监督学习; 稳定性聚类; 深度图像; 时频变换; 3D shape reconstruction; unsupervised learning; locally stable clustering; depth image; time-frequency transformation;

摘要 实时视频流分析在智能监控、智能制造、自动驾驶等场景中具有重要价值,然而其存在计算负载高、带宽需求大和延迟要求严格等特点,难以通过传统的本地计算模式或者云计算模式进行部署.近年兴起的边缘计算范式,将复杂的计算任务从终端设备上传到物理临近的边缘服务器上,能够有效解决设备层面的部署问题.然而,例如无人机编队飞行、车队自动驾驶和多机器人协同等不断涌现的多设备协同场景,新增了系统层面的综合性能要求,包括智能分析的实时准确率、设备之间的性能一致性和系统容纳的设备数量上限.当前的边缘计算范式对多设备协同场景的优化尚显不足,未能有效解决设备之间对上传带宽和服务器算力的竞争问题,所以难以满足这类场景的要求.本文设计了MASSIVE系统,能够在多设备协同场景中,全面提升实时视频分析的综合性能.首先, MASSIVE系统提出了适合多设备协同场景中度量视频流分析系统综合性能的评价体系.其次, MASSIVE系统设计了帕累托改进调度器来计算帕累托最优的系统调度策略,使得系统在3个维度上同时取得了相比已有系统更好的性能表现.最后, MASSIVE设计了虚拟流量整形器来保证各个设备在无线网络中按照调度策略上传视频流数据.实验结果表明, MASSIVE在多种典型的视频分析任务中,相比于当前的代表性系统,至少达到了122.7%的实时准确率、1.8倍的系统容量和更好的系统一致性,并达到了帕累托最优.

关键词 实时视频流分析; 边缘计算; 多设备协同; 多目标优化; 帕累托最优; real-time video analysis; edge computing; multi-agent cooperation; multi-objective optimization; Pareto optimal state;

摘要 颅内容积传导效应导致大量脑电特征之间具有高度相关性,而这些高度相关的脑电特征无法为情感识别提供额外的有用信息,并且会降低基于脑电信号的情感识别效率.为了去除冗余信息和挑选有判别力的脑电特征,本文提出了一种基于正交回归和特征加权的脑电情感特征选择方法.与传统特征选择方法相比,该方法利用正交回归在脑电特征映射空间中保留更多的判别信息,更加适合于非线性和非平稳脑电信号的分析处理.为了验证所提出方法的性能,我们采集了由视频诱发的多通道脑电情感数据,并将所提出方法与4种常用的脑电特征选择方法进行了比较.实验结果证明了本文所提出方法能有效降低脑电特征集内冗余信息,并挑选出具有判别力的脑电特征子集.此外,通过分析由该方法所挑选的脑电特征类型,我们发现中心频率特征是最具判别力的脑电情感特征.该发现将为未来脑电情感特征提取研究提供新的思路.

关键词 脑电; 特征选择; 情感识别; 正交回归; 特征加权; electroencephalogram; feature selection; emotion recognition; orthogonal regression; feature weighting;

摘要 人类利用视觉、听觉等多种感官理解周围环境,通过整合多种感知模态,形成对事件的整体认识.为使机器更好地模仿人类的认知能力,多模态认知计算模拟人类的“联觉”(synaesthesia),探索图像、视频、文本、语音等多模态输入的高效感知与综合理解手段,是人工智能领域的重要研究内容,也是实现“通用人工智能”的关键之一.近年来,随着多模态时空数据的海量爆发和计算能力的快速提升,国内外学者提出了大量方法,以应对日益增长的多样化需求.然而,当前的多模态认知计算仍局限于人类表观能力的模仿,缺乏认知层面的理论依据.本文从信息论角度出发,建立了认知过程的信息传递模型,结合信容(information capacity),提出了多模态认知计算能够提高机器的信息提取能力这一观点,从理论上对多模态认知计算各项任务进行了统一.进而,根据机器对多模态信息的认知模式,从多模态关联、跨模态生成和多模态协同这3个方面对现有方法进行了梳理与总结,系统地分析了其中的关键问题与解决方案.最后,结合当前阶段人工智能的发展特点,重点思考多模态认知计算领域面临的难点与挑战,并对未来发展趋势进行了深入分析与展望.

关键词 人工智能; 多模态; 认知计算; 联觉; 信容; artificial intelligence; multi-modal; cognitive computing; synaesthesia; information capacity;

摘要 场景图是以场景中的物体为结点、以物体之间的关系为边构成的图结构,在视觉与语言交互理解和推理相关任务中具有广泛的应用前景.近年来,场景图自动生成逐渐受到关注,但生成结果中对于关系的描述受到长尾分布带来的偏见的影响,偏向于样本量较大的头部关系.然而头部关系往往过于空泛,描述不够准确,容易造成误解.由于这种关系价值不高,生成的场景图近似于退化为场景中物体信息的堆叠,不利于其他应用在图结构上进行结构化推理.为了使场景图生成器在这种不均衡的数据条件下,能够更均衡地学习,给出更加多样化的特别是尾部的更准确的关系,本文提出一种附加偏见预测器(additional biased predictor, ABP)辅助的均衡化学习方法.该方法利用一条有偏见的关系预测分支,令场景图生成器抑制自身对头部关系的偏好,并更加注重尾部关系的学习.场景图生成器需要为指定的一对物体预测关系,这是一种实例级的关系预测,与之相比,有偏分支以更简洁的方式预测出图像中的关系信息,即不指定任何一对物体,直接预测出图像中存在的关系,这是一种区域级的关系预测.为此,本文利用已有的实例级的关系标注,设计算法自动构造区域级的关系标注,以此来训练该有偏分支,使其具有区域级关系预测的能力.在不同场景图生成器上应用ABP方法,并在多个公开数据集(Visual Genome, VRD和OpenImages等)上进行实验,结果表明, ABP方法具有通用性,应用ABP方法训练得到的场景图生成器能够预测出更加多样化的、更准确的关系,进而生成更有价值、更实用的场景图.

关键词 场景图生成; 长尾分布; 附加偏见预测器; 均衡化学习; 区域级关系; scene graph generation; long-tailed distribution; additional biased predictor; balanced learning; region-level relationship;

摘要 检测由自然灾害造成的不同变化,对于有效地指导人道主义援助和灾难响应行动来说至关重要.但是灾害发生的地区通常面积大、地面环境复杂,导致检测其变化具有较大的挑战性.现有的评估方法通常依靠人工来进行判别,不适用于多种灾害的检测.本文提出了一种新颖的变化检测模型(change transformer, CHTR),基于双时序遥感图像来同时进行建筑分割和多级变化检测两个任务.本文结合卷积神经网络擅长学习局部细节特征和Transformer可以建模长程依赖关系的优势,采用混合卷积神经网络和Transformer的架构作为编码器.考虑到自然灾害通常会对复杂环境中的建筑物造成不同程度的破坏,本文提出了一种全局差异模块,以捕获全局变化模式,提高对双时序图像之间变化的整体认识.进一步设计了一种局部门控注意力模块,以学习多级别变化之间的局部依赖性,增强对不同变化的判别能力.在目前最大的建筑物损毁评估数据集(xBD)上进行的大量实验表明,本文提出的方法在建筑分割和变化检测两个任务上都取得了更好的结果.

关键词 建筑物分割; 变化检测; 遥感图像; 全局和局部结构; Transformer; building segmentation; change detection; satellite imagery; global-local architecture; transformer;

摘要 人脸跨域翻译是将人脸图像从一个图像域映射到另一个图像域的过程,常见的人脸图像翻译任务包括人脸照片–素描、人脸照片–线条画跨域翻译等,可以广泛应用于现实场景,如协助刑侦、电影制作、数字娱乐.但是成对的人脸图像数据有限,且不同域之间的颜色、纹理差异较大,导致人脸图像跨域翻译仍面临着巨大挑战.现有的方法通常会产生模糊、伪影、结构失真等问题,导致较差的视觉效果.为解决这一问题,我们提出了一个自判别循环生成对抗网络,其中,生成器部分采用编码器–解码器结构,生成器对应的判别器为翻译方向相反的编码器,通过自判别的形式,使编码器(即判别器)巧妙地融合了“真/假”语义判别能力与对像素改变的敏感性,从而增强了模型的稳健性和泛化能力.其次,我们提出了一个新颖的全向像素梯度损失函数,设计的卷积核计算了每个像素周围每个方向的梯度来提取图像的梯度信息,通过约束生成图像与对应真实图像的梯度信息保持一致,从而激励模型有效地学习像素间连续变化的模式,并且该损失函数可以灵活地应用于其他生成模型以提升性能.大量的实验表明本文提出的框架能够在公开的成对的人脸照片–素描数据集(CUFS, CUFSF)以及人脸照片–线条画数据集(APDrawing)上取得优异的结果.此外,通过泛化能力验证实验,我们进一步展示了模型在真实场景数据上的强泛化能力,以及自判别循环生成对抗网络结构在非成对人脸数据集上的出色性能.

关键词 人脸图像翻译; 自判别循环生成对抗网络; 梯度损失; 照片–素描; 照片–线条画; face image translation; self-discriminative cycle generative adversarial network; gradient loss; photo-sketch; photo-APDrawing;

摘要 通信技术和移动互联网的发展使多媒体数据逐渐渗透人们的生活,而视频作为其中一种最具表现力的内容表达方式,近年来受到了工业界和学术界的广泛关注.针对视频数据中背景信息较为冗余,所需分析浏览时间长的特点,本文介绍了自然语言句子在视频中的时序定位任务,即在视频中定位与给定自然语言句子语义相关的视频片段,这样人们可以通过提供明确简洁的文本描述在视频中迅速找寻所关注的特定内容,从而提高用户的视频浏览体验和搜索效率.传统方法往往以多模态匹配的框架来解决句子在视频中的时序定位问题,忽略了自然语言句子中的关键定位线索,更忽视了自然语言句子对于关联视频内部相关内容的重要指导作用,因而其时序定位准确率十分有限.为解决上述难题,本文提出了多模态共同注意力机制挖掘自然语言句子中与时序定位相关的重要语义细节,精细地构建句子中各单词和视频内容之间的语义关系.在此基础上,我们还提出了语义条件动态归一化机制,指导视频中与句子语义相关的局部视频内容紧密耦合,形成明确的视频片段边界,最后辅以细粒度的边界调整模块,进而获得更为精准和灵活的时序定位结果.在公开数据集上的实验验证了本文所提出的机制和方法的有效性.最后,本文还从引入视频中的音频信号、考虑弱监督环境下的时序定位问题,以及构建无偏见时序定位数据集这3个方面对自然语言句子在视频中的时序定位问题进行了未来研究方向的展望.

关键词 时序定位; 语义关联; 多模态共同注意力机制; 时序卷积网络; 语义条件动态归一化机制; temporal sentence grounding in videos; semantic correlation; multimodal co-attention mechanism; temporal convolutional network; semantic conditioned dynamic normalization;

摘要 混合曲线曲面的拟合常应用于计算机辅助设计与制造中,但传统的数据拟合方法缺乏明显的几何意义.最小二乘渐进迭代逼近算法(progressive-iterative approximation for least square fitting, LSPIA)能通过迭代地调整控制点得到原始数据点的最小二乘拟合结果,具有明显的几何意义,但收敛速度较慢.为解决这个问题,本文提出一种基于共轭梯度法的最小二乘渐进迭代逼近算法(conjugate-gradient progressive-iterative approximation for least square fitting, CG-LSPIA).该算法首先计算共轭曲线曲面,再更新混合曲线曲面,在没有数值误差的情况下,迭代至多n步即可生成给定数据点的最小二乘拟合曲线曲面.此外,本文给出了CG-LSPIA算法收敛性证明.最后,以B样条曲线曲面为例,与LSPIA算法进行了比较,实验表明该算法有效,并且减少了达到相同拟合误差限所需的迭代次数与时间.

关键词 渐进迭代逼近; 最小二乘拟合; 共轭梯度法; 数据拟合; 几何设计; progressive-iterative approximation algorithm; least square fitting; conjugate-gradient method; data fitting; geometric design;

摘要 书法笔画能够产生丰富的主观意象,中国传统绘画也有类似的审美现象.于是,在古代的书画论著中,有大量关于笔画观感的记载,往往是将笔画引出的各种丰富拟物化意象进行描述.目前由于书法通常被归入艺术学研究的范畴,书法理论研究中还极少引入数理建模和科学实验的方法,因此对于笔画的意象空间还鲜有采取测量及实证的科学方法,还未能对其建立数理模型.本文设计了两项实验,用以探索书法笔画的意象空间.在第一项实验中,引入实验美学中常用的审美测量方法,选取了书法家写的15个“一”字作为测试样品,并选用21种拟物化感知维度,设计了视觉模拟量表,招募了252名普通群众对它们进行意象感受评测实验.然后,对数据进行主成分分析,展现出笔画“一”的意象空间的特征:其一,它的前二维占据主导,主轴对应于书法理论中探讨最多的“质与妍”的风格倾向问题、副主轴对应于“真与草”的书风倾向问题;其二,它的第三、四维的分布情况也不可忽略,其具体的意义有待进一步解释;其三,不同形态的笔画分布于该空间的不同位置,不同的感知维度对应于从空间原点出发的不同方向.基于第一项实验,设计了可视化方案,直观展现该意向空间中占主导的前二维的结构特征.第二项实验让测试者对实验一中的15个笔画样品评价其两两之间的主观差异.该实验结果经多维缩放分析,与实验一的结果互为支撑.不仅验证了书法理论中有关书风和书体的观点,还为关于“笔法”的审美感知实证研究提供了一种可拓展的数理模型和实验框架.

关键词 书法; 笔法; 笔画; 意象; 实验美学; 主成分分析; 多维尺度分析; 数据可视化; calligraphy; brushstrokes; calligraphic stroke; synesthesia; empirical aesthetics; principle component analysis; multidimensional scaling; data visualization;

摘要 基于深度学习的工业缺陷检测方法可以降低传统人工质检的成本,提升检测的准确性与效率,因而在智能制造中扮演重要角色,并逐渐成为计算机视觉领域新兴的研究热点之一.其被广泛地应用于无人质检、智能巡检、质量控制等各种生产与运维场景中.本综述旨在对工业缺陷检测的任务定义、难点、挑战、主流方法、公共数据集及评价指标等进行全面归纳,以帮助研究人员快速了解该领域.具体而言,本文首先介绍工业缺陷检测的背景与特点.接着,按照实际数据标注情况,划分出缺陷模式已知、缺陷模式未知与少量缺陷标注3种研究任务设置,并根据方法类型作进一步归纳与分析,探讨了各方法的性能优劣与适用场景,阐明了方法与实际应用需求的关联性.此外,本文还归纳了方法部署中的关键辅助技术,总结了现有方法在实际产业落地中存在的局限性.最后,本文对该领域未来的发展趋势和潜在研究方向进行了展望.

关键词 缺陷检测; 异常检测; 计算机视觉; 工业视觉; 深度学习; defect detection; anomaly detection; computer vision; industrial vision; deep learning;

摘要 在临床诊断中,磁共振成像(magnetic resonance imaging, MRI)运动伪影是一个常见的问题,运动伪影的存在会影响医生的诊断,虽然重新采集MRI可以避免这一问题,但这会提高医院和患者的经济成本和时间成本,因此,运动伪影的校正具备实用研究价值.现有的研究主要关注于空域的运动伪影校正或者K空间的运动伪影校正,缺乏对K空间和空域之间数据一致性的保持.为了解决这一问题,本文基于生成对抗网络提出了保持K空间和空域之间数据一致性的MRI运动伪影校正模型.该模型通过频域生成器对K空间数据进行初步校正,然后通过空域生成器对空域中的数据进行精细校正,在优化阶段则采用域间数据一致性损失来保持K空间和空域之间的数据一致性.在公开脑部MRI数据集ADNI, ABIDE, OASIS和Brain上的实验结果表明,本文提出的模型相较于其他方法分别在PSNR, SSIM以及RMSE上最高提升了3.4%, 3.07%和15.57%.

关键词 运动伪影校正; 生成对抗网络; 数据一致性; 深度学习; 医学图像; motion artifact correction; generative adversarial network; data consistency; deep learning; medical image;

摘要 近年来,弱监督目标检测在计算机视觉和机器学习领域获得了广泛的关注.点标注是弱标注的形式之一,它依赖人工标注,为图像中的每一个物体赋予一个标注点.尽管在过去的几年中,出现了许多基于深度学习的弱监督目标检测算法,但当前基于点标注的弱监督目标检测的探索仍处于空白.考虑到点标注可以为弱监督目标检测提供丰富的、与感兴趣物体相关的位置、类别、数量等信息,本文提出了一个基于点标注的弱监督目标检测算法.该算法通过探索标注点与目标、类别间、实例间的依赖关系弥补弱监督学习中监督信息的不足,提高弱监督目标检测性能.在该算法中,本文提出了3个网络分支用以充分挖掘标注点信息,改善弱监督目标检测学习过程:空间图分支(spatial graph branch,SGB)利用点标注与目标空间上的局部相关性,探索标注点与标注点空间上下文间关系;多语义分支(multi-semantics branch, MSB)利用类别间在语义上的共现概率,构建语义拓扑结构,探索标签间的全局语义关系;实例计数分支(count-guided instance branch, CIB)利用不同实例间在空间上的局部无关性和特征差异,推断每个目标的伪监督信息,实现实例级监督.用点标注训练弱监督目标检测算法,在节省人工标注成本的同时提供更多丰富的监督信息,从本质上提高弱监督目标检测性能.在PASCAL VOC 2007和PASCAL VOC 2012数据集上的实验结果表明,本文算法与基准模型相比,在均值平均精度上分别提高了7.9%和10.2%,在定位准确度上分别提高了9.7%和11.7%.

关键词 弱监督学习; 目标检测; 点标注; 依赖关系; 关系推理; weakly supervised learning; object detection; point annotation; dependency relationship; relationship reasoning;

摘要 从真实的人脸照片合成面部素描及其逆过程具有广泛的用途,例如数字娱乐与协助刑事案件的侦查.但是,由于照片与素描在纹理上的显著差异,它们之间的互相转换仍是一个具有挑战性的问题.最近基于生成对抗网络的方法已在图像间转换问题,特别是照片到素描的转换方面展现出令人鼓舞的结果,但它们大多会在面部关键组件产生不同的形变或者模糊,使得合成图像的真实性受影响.为了应对这一挑战,我们提出了一种新颖的基于多尺度特征融合的人脸照片–素描合成算法,来提高合成图像的结构完整性与纹理逼真度.首先使用编码器提取输入图像的多尺度编码特征,然后将最底层编码特征经过空洞卷积模块后传入解码器进行解码.解码过程中将不同尺度的解码特征与对应尺度的编码特征在通道维度上拼接,从而获得多尺度编解码融合特征.最后在解码器的输出端将不同尺度的编解码融合特征进一步融合,并通过一层卷积层产生最终合成结果.通过这种同时将编码–解码过程中不同尺度的特征在通道维度进行拼接的方式,能够保持较好的图像结构以及纹理细节,生成逼真的面部素描/照片图像.我们在多个具有挑战性的数据集中验证了所提方法的有效性.定量和定性评估表明,本文模型在生成具有高视觉质量的人脸素描(或照片)方面优于其他最新技术.

关键词 人脸照片–素描合成; 图像翻译; 生成对抗网络; 多尺度特征融合; 空洞卷积; face photo sketch synthesis; image-to-image translation; generative adversarial network; multi-scale feature fusion; dilated convolution;

摘要 近年来,汉字自动生成因其在艺术字体生成、个性化字体设计,以及书法作品生成等问题中的广泛应用而引起了大量关注.当前主流的汉字字体自动生成方法主要基于非配对数据和深度生成模型如生成对抗网络等.然而,这些主流的深度汉字字体生成方法通常忽略了汉字本身的结构信息,导致在提取特征时缺乏相应指导,且在训练过程中容易出现模式坍塌现象,从而在生成汉字质量方面亟待进一步提高.针对该问题,本文受汉字田字格书写的启发,提出一种基于田字格变换的自监督方法来指导网络模型提取更高质量的特征,进而提升汉字生成效果,需要特别指出的是所设计的田字格几何变换无需改变现有模型网络且不增加任何人工成本,因此潜在可嵌入许多已有深度汉字字体生成模型.所提自监督学习方法的有效性在一系列实验中得到验证.实验结果表明,在嵌入所提的自监督学习任务后,当前流行的基于CycleGAN的深度汉字生成模型在生成效果和训练稳定性等方面都有较大提升,并且模式坍塌现象得到改善.与现有其他深度汉字字体生成方法相比,所提基于田字格几何变换的自监督方法提高了生成汉字质量,并且在生成汉字内容准确率、FID值、L1损失和IOU这4个评价指标上均有一定提升.

关键词 汉字字体生成; 自监督学习; 生成对抗网络; 深度学习; 田字格变换; Chinese font generation; self-supervised learning; generative adversarial network; deep learning; square-block transformation;

摘要 作为改变人脸图像外观的重要方式之一,美妆转移任务在近年来获得了越来越多的关注.美妆转移网络可以将任意参考图像的妆容转移到任意人脸图像上,在节约时间和空间成本的同时帮助人们找到适合自己的妆容,并获得妆容得到美化的图像.美妆转移网络BeautyGAN成功展示了无监督方法妆容迁移的较好效果,然而此类无监督学习策略缺乏可以提供良好妆容细节的监督标签,导致实验结果中出现了背景变色、边缘不自然、容易受光照影响等问题.用素颜–美妆配对标签进一步约束BeautyGAN模型训练可以解决上述问题,但当前学术界缺乏此类精细标注的配对数据集.针对以上问题,本文提出了BeautyGAN+方法,贡献了一个用户详细标注的素颜–美妆配对数据集,即PMT数据集,在BeautyGAN的无监督基础上加入有监督损失进行训练,最终通过实验发现结合无监督(迁移性好)和有监督(细节修复好)的训练策略可以提供更好的迁移效果.实验结果中的图像结果和用户调研(14位)均表明本文方法显著提升了美妆转移效果,解决了美妆转移工作长期缺乏配对数据集及转移结果存在多种偏差的难题.

关键词 深度学习; 美妆转移技术; 生成式对抗网络; 有监督学习; 美妆数据集; deep learning; makeup transfer; generative adversarial network(GAN); supervised learning; makeup dataset;

摘要 实时视频流分析在智能监控、智慧城市、自动驾驶等场景中具有重要价值.然而计算负载高、带宽需求大、延迟要求严等特点使得实时视频流分析难以通过传统的云计算范式进行部署.近年来兴起的边缘计算范式,将计算任务从云端下沉到位于网络边缘的终端设备和边缘服务器上,能够有效解决上述问题.因此,许多针对实时视频流分析的边缘计算研究逐渐涌现.本文首先介绍了智能视频流分析和边缘计算的背景知识,以及二者结合的典型应用场景;接着提出了现有系统所关注的衡量指标和面临的挑战;然后从终端设备层次、协作层次、边缘/云层次对本领域的关键技术分别进行了详细的介绍,重点涉及了模型压缩和选择、本地缓存、视频帧过滤、任务卸载、网络协议、隐私保护、查询优化、推理加速和边缘缓存技术.基于对上述各项核心技术的有机整合,本文提出了基于边缘计算的视频大数据智能分析平台Argus,从数据采集、推理分析,到数据挖掘、日志管理,对实时视频流分析全生命周期提供支持,并成功应用到智慧油田中.最后,本文讨论了本领域尚待解决的问题和未来研究方向,希望为今后的研究工作提供有益参考.

关键词 边缘计算; 视频分析; 模型压缩; 任务卸载; 查询优化; edge computing; video analytics; model compression; task offloading; query optimization;

摘要 创作者经济的兴起以及相应去中心化平台的搭建加速了权力向个体创作者的转移,然而由于去中心化平台缺乏中心内容审查和监管,创作者可能滥用权力,传递可能造成社会损害的信息.已有的去中心化审查机制缺乏对创作内容社会损害的严谨刻画,同时对于该问题的解决方案也缺乏相应的理论支撑.我们提出了一套去中心化平台的审查机制:创作者上传的作品将首先由去中心化的审查者进行损害评估,根据评估结果,创作者在上传作品的同时需要支付一定押金,为了防止在随机环境下较坏情况发生,我们将引入去中心化的担保者进行担保,在此基础上通过中心化的资金池解决极端情形下的社会损害赔付.我们证明:(1)在损害评估阶段,审查者们诚实地给出自己对作品社会损害的评估是一个支配性策略;(2)审查机制以极高的概率保证作品的社会损害会低于担保者的赔偿上限和创作者的押金之和.

关键词 创作者经济; 互联网3.0; 去中心化审查; 区块链; 社交媒体; creator economy; Web3.0; decentralized censorship; blockchain; social media;

摘要 联邦学习通过聚合多方本地模型成为数据共享的新模式.现有的联邦学习激励机制有效缓解了完全信息下的数据供给不足问题,但仍面临搭便车、不公平、不可信等挑战.为此,本文提出了一种基于区块链和贝叶斯博弈(Bayesian game)的不完全信息联邦学习激励机制,通过量化数据供给方的成本效用与数据需求方的支付报酬对数据交易过程建模,采用沙普利值(Shapley value)实现了数据供给方报酬分配的公平性.在交易模型中考虑到参与个体的异质性与隐私保护,将数据供给方的资源配置策略构建为不完全信息的贝叶斯博弈模型,通过优化本地模型训练策略实现对数据供给方的激励作用.本文进一步分析了激励机制的有效性与行动策略的可信性,提出一种隐私保护的贝叶斯博弈行动策略共识算法(privacy-preserving Bayesian game action strategy consensus algorithm, PPBG-AC),该算法使数据供给方在基于区块链的数据交易平台下实现了贝叶斯纳什均衡.方案对比与理论分析表明本文提出的不完全信息联邦学习激励机制保障了数据供给方利益分配的公平性与资源配置的可信性,基于实际公开数据集的仿真实验与性能评估验证了激励机制的有效性.

关键词 联邦学习; 激励机制; 区块链; 贝叶斯博弈; 沙普利值; 不完全信息; 隐私保护; federated learning; incentive mechanism; blockchain; Bayesian game; Shapley value; incomplete information; privacy protection;

摘要 最小最大圈覆盖问题是旅行售货商问题的推广,该问题在无线传感器网络和无人机救灾等领域有着广泛的应用.目前关于最小最大圈覆盖问题的研究主要集中在近似算法方面,而缺少精确算法方面的结果.本文根据最小最大圈覆盖问题的组合特征,对该问题设计了基于动态规划策略的首个精确算法,时间复杂度为O~*(3~n).本文将对最小最大圈覆盖问题的求解分为两个阶段,第一个阶段是对问题的输入进行预处理,第二个阶段是在预处理的基础上求问题的最优解.有趣的是,两个阶段的方法都是基于动态规划策略设计的,这是本文处理最小最大圈覆盖问题的一个主要的特色.本文所证明的求到最优解的时间O~*(3~n),显著优于基于暴力搜索策略的枚举算法的时间.

关键词 最小最大圈覆盖问题; 动态规划; 分支定界; 精确算法; min-max cycle cover; dynamic programming; branch and bound; exact algorithm;

摘要 给定平面上的n个用户、m个传感器和一个正整数k (n),任意传感器s均可以通过提供能量p(s)产生一个圆形的覆盖区域,覆盖区域的半径r(s)与p(s)满足p(s)=r(s)~α,其中, α1为衰减系数.平面上带次模惩罚费用的最小能量部分覆盖问题尝试寻找传感器的一个能量供应方案,使得至少有k个用户被覆盖且总能量与未覆盖用户的惩罚费用之和达到最小,其中惩罚费用由一个次模函数确定.该问题推广了最小能量覆盖问题、最小能量部分覆盖问题和带惩罚费用的最小能量部分覆盖问题.通过深入挖掘平面上半不相交圆盘集合的几何性质,本文设计了一个基于原始对偶框架的两阶段多项式时间(5·2~α+1)-近似算法.当惩罚费用函数是线性函数时,此算法的近似比为5·2~α.

关键词 能量部分覆盖问题; 次模惩罚费用; 原始对偶方法; 半不相交; 近似算法; k-prize-collecting power cover problem; submodular penalties; primal-dual method; semi-disjoint; approximation algorithm;

摘要 公平分配研究如何把m个不可分的物品公平地分配给n个玩家.每个玩家关于物品有一个可加的估值函数.物品是无权重的,如果他们的取值范围为{1, 0,-1}.非负估值的物品称为奖品,非正估值的物品称为苦差.本文考虑寻找无权重物品的分配,并满足“相差任意物品下是无忌妒的”(envy-free up to any item, EFX0). EFX_0是本领域内最受关注的公平性度量.一般可加估值函数下的EFX_0分配的存在性仍然是开放的.本文提出寻找无权重物品的EFX_0分配的多项式时间算法.为了达到这个目的,本文分别提出了寻找无权重奖品和无权重苦差的EFX_0分配的算法.然后,通过将二者小心地结合起来,本文得到了最终的算法.本文的结果完整刻画了无权重情况下寻找EFX_0分配的解决方案.

关键词 公平分配; 无忌妒性; 不可分物品; 奖品; 苦差; fair allocation; envy-freeness; indivisible items; goods; chores;

摘要 随着大数据时代的到来,图数据挖掘成为了一个热门的研究方向.极大团枚举(maximal clique enumeration, MCE)作为图论中的一个基本问题,在很多领域都有着广泛的应用.然而,鉴于极大团枚举问题本身的复杂性以及现实图数据规模的飞速增长,在现实图数据上进行极大团枚举是很耗时的.目前已经有大量的工作对该问题的求解算法进行改进,或采用各种计算优化方法减少算法的运行时间.本文就极大团枚举问题做了如下工作:对现有的极大团枚举问题的研究工作进行了分类归纳;对极大团枚举问题的研究现状进行了详细介绍;对该问题进一步发展所面临的挑战和发展方向进行了讨论和展望.

关键词 极大团枚举; 图论; 图数据挖掘; 图划分; 并行计算; maximal clique enumeration; graph theory; graph mining; graph partition; parallel computing;

摘要 梅特罗波利斯算法(Metropolis algorithm)是一种基本的马尔可夫链蒙特卡罗(Markov chain Monte Carlo, MCMC)采样技术,可用于从概率图模型所表示的高维概率分布(即吉布斯(Gibbs)分布)中进行随机采样.传统的梅特罗波利斯算法是一个串行算法.关于其快速收敛性的一个经典结论是:当满足梅特罗波利斯算法的Dobrushin-Shlosman条件时,该算法在O(n log n)步内快速收敛,其中n是随机变量的个数.本文研究了梅特罗波利斯算法的分布式版本——局部梅特罗波利斯算法.对该算法的正确性与收敛速度进行了分析,证明了该算法总是收敛于正确的吉布斯分布;并且对于一类自然的不包含三角形(triangle-free)概率图模型,如果满足相同的Dobrushin-Shlosman条件,则局部梅特罗波利斯算法在O(log n)轮内快速收敛.相比于传统的串行算法,实现了?(n)倍的渐进最优并行加速比.具体应用包括图染色、硬核模型和伊辛(Ising)模型的分布式采样算法.

关键词 分布式采样; 马尔可夫链蒙特卡洛; 混合时间; 自旋系统; 耦合; distributed sampling; Markov chain Monte Carlo; mixing time; spin system; coupling;

摘要 服务器无感知计算作为云原生范式中快速发展的新兴技术,因其按需付费、自动资源伸缩和底层环境屏蔽等特点而受到越来越多的开发人员欢迎. FaaS (函数即服务)作为Serverless架构的主要实现方式,以函数粒度对应用进行解耦和执行.大多数云服务提供商也为应用开发人员提供了基于Serverless架构的应用搭建服务,这些服务允许开发人员以函数的形式部署代码,并根据实际的请求量进行自动扩缩容.然而,在部署有状态函数时,由于Serverless架构的无状态特性,管理其中的有状态数据变得复杂,往往无法满足Serverless中函数对有状态数据的访问性能要求.因此,本文提出了一种基于有状态和动态可寻址会话机制的服务器无感知计算系统XFaaS,实现了低开销的有状态数据访问和更高的应用吞吐.实验结果表明,通过采用XFaaS系统部署有状态函数的方式,可以降低有状态数据访问时延3个数量级,并提高2倍以上的函数最大吞吐量.

关键词 服务器无感知计算; 函数即服务; 有状态函数; 粘滞会话; 容器; Serverless computing; function-as-a-service; stateful function; sticky Session; container

摘要 联邦学习(federated learning, FL)是一种以保护客户隐私数据为中心的分布式处理网络,为解决隐私泄露问题提供了前景良好的解决方案.然而, FL的一个主要困境是高度非独立同分布(nonindependent and identically distributed, non-IID)的数据会导致全局模型性能很差.尽管相关研究已经探讨了这个问题,但本文发现当面对non-IID数据、不稳定的客户端参与以及深度模型时,现有方案和标准基线FedAvg相比,只有微弱的优势或甚至更差,因此严重阻碍了FL的隐私保护应用价值.为解决这个问题,本文提出了一种对non-IID数据鲁棒的优化方案:FedUp.该方案在保留FL隐私保护特点的前提下,进一步提升了全局模型的泛化鲁棒性. FedUp的核心思路是最小化全局经验损失函数的上限来保证模型具有低的泛化误差.大量仿真实验表明, FedUp显著优于现有方案,并对高度non-IID数据以及不稳定和大规模客户端的参与具有鲁棒性.

关键词 分布式网络; 联邦学习; 异构优化; 泛化性; 鲁棒性; 隐私保护; distributed network; federated learning; heterogeneous optimization; generalization; robustness; privacy protection

摘要 随着深度学习应用的快速发展,神经网络模型的参数量变得越来越大,这意味着训练一个可用的神经网络模型需要更多的算力和更长的计算时间,因此如何提升神经网络训练的效率至关重要.然而训练效率在很大程度上取决于硬件后端和编译器.为了提升神经网络训练的性能,编译器的效率亟待提升,而这主要取决于计算图的优化、算子级别的优化和代码生成.主流的神经网络训练框架(如TensorFlow, PyTorch)使用了供应商特定的、通过手工设计算子获得的算子库.然而,手工设计算子浪费了大量的算子级别的优化空间,因此研究人员提出了TVM.作为一个端到端的编译器, TVM实现了算子级的自动优化,比现有框架进一步提高了性能.此外, TVM支持从多种神经网络框架中导入神经网络模型,并在不同主流硬件后端上部署.然而, TVM的注意力集中于提升神经网络推理任务的性能,并不支持神经网络的训练.本文提出了TVMT,第一个基于TVM、支持神经网络训练的端到端编译器.为了支持神经网络训练,本文提出了以下方法.(1)合并损失函数到现有的计算图中,以支持前向和后向传播;(2)在训练过程中采用设备到主机的机制来更新权重参数;(3)集成了最先进的张量程序调优器,以自动优化神经网络训练程序.实验结果表明,与PyTorch相比, TVMT在Intel CPU和NVIDIA GPU上的神经网络训练性能达到了最高4.88倍的提升;与TensorFlow相比, TVMT在Intel CPU和NVIDIA GPU上的神经网络训练性能达到了最高11.5倍的提升.

关键词 神经网络编译器; 神经网络训练; 算子自动优化; 参数更新; 反向传播; neural network compiler; neural network training; automatic optimization for operators; parameters update; back propagation

摘要 在SDN (software-defined networks)网络中检测大流对负载均衡、异常检测、流量工程等网络应用的实施及网络服务质量的提升至关重要. SDN网络通常使用流表统计流量数据,但由于存储流表的三态内容寻址寄存器(ternary content addressable memory, TCAM)资源有限,仅凭流表无法从海量网络数据中识别出所有大流,需要使用紧凑数据结构作为额外的测量模块来辅助检测.现有的研究多考虑将测量模块部署在单台或边缘交换机上,但交换机中的高速存储资源和计算资源极度紧缺,处于高流量链路上的交换机会因执行测量任务承受过高的负载,甚至影响交换机核心功能的执行.为此,本文提出了一种面向SDN网络的分布式轻量级大流检测方案.该方案将网络流量测量任务分摊至全网交换机,进而实现测量负载的均衡,并结合所设计的轻量级测量模块,有效降低了每台交换机执行测量任务所需的计算和存储开销.实验结果证明该方案较已有最新研究成果具有更高的测量精度及更低的计算和存储开销.

关键词 SDN网络; 网络流量测量; 大流检测; 分布式测量; Sketch; software-defined networks; network traffic measurement; elephant flow detection; distributed measurement

摘要 随着现实世界中动态图计算需求的快速增长,现有的研究工作已经提出了多种方法来有效支持单调图算法在动态有向图中的处理.然而,由于动态有向图的图结构频繁发生变化,其相邻图顶点之间的状态更新存在复杂的依赖关系,这使得现有的软硬件方法在处理单调图算法时依然面临着数据访问成本高和收敛速度慢的问题.为此,本文提出了一种面向动态有向图的单调图算法加速器DSGraph,它能够充分利用图顶点之间的依赖关系来加快单调图算法在动态有向图处理中的收敛速度,并有效降低数据访问成本.具体来说, DSGraph通过实时提取动态有向图中图顶点的局部拓扑依赖顺序来执行异步迭代处理,从而显著减少冗余的图顶点状态更新.同时, DSGraph设计了一种异步迭代流水线架构,其按照依赖顺序对图顶点状态进行异步迭代处理,从而加速图顶点状态传播速度并减少数据访问开销.最后, DSGraph提出了一种无阻塞数据同步机制,通过并行执行本地图顶点的状态更新和外部图顶点的数据同步来减少系统同步开销.实验显示,与目前最先进的面向单调图算法的动态图处理系统KickStarter相比, DSGraph将动态有向图处理速度平均提升了11.2倍.

关键词 动态有向图; 单调图算法; 增量计算; 依赖感知; 图加速器; dynamic directed graph; monotonic graph algorithms; incremental processing; dependency-aware; graph accelerator;

摘要 随着高性能数值模拟对客观对象逼真度的不断增强,学科交叉特征凸显,带来多物理场耦合的多样性和动态演化,给并行计算带来了新的挑战.相对于单一学科或静态的多物理场耦合,挑战主要表现在两个方面,其一,如何降低耦合的复杂度;其二,如何支撑提升耦合的可信度.本文提出一种跨学科并行计算构件模型,统一表征结构网格、非结构网格和组合几何的网格数据模型,构件化数据通信、负载平衡和数值计算功能,将耦合复杂度从平方量级降低到线性近优,并奠定了耦合可信度提升的并行计算基础.结构–流体–传热等跨学科多物理场耦合并行计算表明,本文提出的构件模型有效.

关键词 构件模型; 并行计算; 学科交叉; 多物理场耦合; component model; parallel computing; interdisciplinary; multiphysics coupling;

摘要 随着全球数据的指数级激增,数据中心在存储和管理数据方面正面临空前挑战,基于服务器架构的传统数据中心在资源利用率、扩展性、性能等方面的缺陷日益显著,已经愈发难以满足业务需求.近年来,一种分离式数据中心架构得到了学术界和工业界的广泛关注:该架构下,硬件资源被拆分为不同的硬件资源池(例如处理器池、内存池、存储池等),并通过高速网络互连;管理员可以按需扩展特定的硬件资源池,且各类硬件资源可以在不同应用间灵活共享.然而,分离式数据中心架构在访存模式、存储层级、容错模型、软件开销等方面呈现出显著差异,这为构建分离式架构友好的存储系统带来了新的挑战.首先,分析了分离式数据中心的驱动因素,阐述了其架构特点及优势,并综述了对应存储系统的关键技术和代表性研究工作;然后,围绕数据容错、异构计算及异构网络,展望了未来的发展趋势并给出了总结.

关键词 分离式数据中心; 分离式内存; 分离式存储; 存算分离; disaggregated datacenter; disaggregated memory; disaggregated storage; separation of compute and storage;

摘要 近年来,以深度学习为代表的人工智能技术迅猛发展,深度学习模型和训练数据的规模均呈爆炸式增长,给智能模型训练系统带来了巨大挑战.随着高性能计算与人工智能的不断深度融合,并行智能训练技术成为大规模深度学习模型高效训练的主要方法.本文总结了并行智能训练的基本模式和关键技术,以及并行智能训练框架的发展现状,分析了并行智能训练技术和框架发展面临的挑战与发展趋势,简介了银河天璇并行智能训练框架的研究进展.

关键词 智能训练; 高性能计算; 并行智能训练; 深度学习; intelligent training; high-performance computing; parallel intelligent training; deep learning;

摘要 物联网移动群智感知模式本质是汇聚大规模普通移动个体的智能感知能力,对开放、动态、复杂物理环境进行感知,通过感知大数据的智能分析,对感知群体引导和反馈,使其持续涌现群体智能并辅助综合决策.目前的群智感知系统仍然存在个体感知欠智能、群体目标少引导、群智过程弱调控三方面的局限性.本文首先讨论了群智感知研究现状和面临的挑战;结合人机物融合、云边端协同、感算控闭环3个核心发展趋势,提出一种智能演进与反馈引导结合的新型群智感知系统架构模型Evo-CPS,并研究了该模型的实现方法;然后结合智慧出行应用场景,将所提出的理论方法进行应用验证;最后,总结全文并展望新一代群智感知研究领域的发展方向.

关键词 群体智能; 群智感知; 人机物融合; 智慧出行; crowd intelligence; crowdsensing; human-cyber-physical fusion; smart transportation;

摘要 ATPG (automatic test pattern generation)是VLSI (very large scale integration circuits)电路测试中非常重要的技术,它的好坏直接影响测试成本与开销.然而现有的并行ATPG方法普遍存在负载不均衡、并行策略单一、存储开销大和数据局部性差等问题.由于图计算的高并行度和高扩展性等优点,快速、高效、低存储开销和高可扩展性的图计算系统可能是有效支持ATPG的重要工具,这将对减少测试成本显得尤为重要.本文将对图计算在组合ATPG中的应用进行探究;介绍图计算模型将ATPG算法转化为图算法的方法;分析现有图计算系统应用于ATPG面临的挑战;提出面向ATPG的单机图计算系统,并从基于传统架构的优化、新兴硬件的加速和基于新兴存储器件的优化几个方面,对图计算系统支持ATPG所面临的挑战和未来研究方向进行了讨论.

关键词 图计算; 超大规模集成电路; 自动测试向量生成; 电子设计自动化; 电路测试; graph processing; VLSI; ATPG; electronic design automation; circuit test;

摘要 移动蜂窝系统正经历着从2G/3G/4G到5G的交错式代际进化过程,多样化的信号与协议长期共存.如何在庞大、异构、高动态的蜂窝环境中保证服务的高速(传输快)、高能效(耗电少)和高可靠性(不断网)成为至关重要但又非常困难的问题,该问题同时涉及手机制造商、网络服务提供商、操作系统和应用软件开发商.我们研究和综述了近年来针对该问题的代表性工作,发现蜂窝系统表观层面的多个反常性能问题,实际上归因于核心机制层面隐蔽而深刻的“近因现象”:受社会舆论和商业宣传影响,在选择使用移动网络时,存在非理性的代际偏颇和不自觉的速度至上倾向,进而引发了偏向5G的“亏损迁移”、网络容量的“饱和饥饿”以及基站连接的“乒乓跳跃”等连锁效应.为修复上述缺陷,我们提出基于4G/5G双连接以及非齐次时变马尔可夫过程的自调控技术设计,将5G设备的故障发生率降低40%并将所有设备的平均故障持续时间缩短36%,同时探讨我们基于大规模工业合作实践的洞察和创新.

关键词 代际交错; 5G; 近因现象; 亏损迁移; 自调控技术; interlaced generations; 5G; recency effect; loss-making migration; self-regulating design;

摘要 随着各类机器学习算法的广泛应用,高能效地定制机器学习系统受到越来越多的关注.定制机器学习系统高效部署的关键在于其编程与编译环境.中间表示是编程与编译环境的核心,用于连接上层编程语言和底层硬件指令.当前的中间表示或是面向上层算法或是面向以标量处理为核心的传统处理器,难以高效应对以张量处理为核心的机器学习系统.本文提出了面向机器学习系统的张量中间表示,以提升机器学习系统的编程和运行效率.具体而言,我们定义了一系列张量类型,张量操作及张量存储空间,并在此基础上进行张量处理优化.我们将所提出的张量中间表示对TVM的底层标量中间表示进行了扩展并在典型机器学习系统上进行了实验.我们探索了原有中间表示没有发掘的优化并取得了1.62～2.85倍的性能提升,同时在典型算子的开发效率上平均提升了5.46倍.

关键词 机器学习系统; 编程与编译; 张量处理; 中间表示; 编程效率; machine learning systems; programming & compiling; tensor processing; intermediate representation; programming efficiency;

摘要 下一代互联网是全球各国推动科技产业革命和重塑国家长期竞争力的基础设施和先导领域,同样也是高科技密布、专利密集的战略性新兴产业领域,技术研发与创新竞争异常激烈.本文运用专利导航方法对全球下一代互联网互联设备相关技术进行了分析,通过对本导航领域多位技术专家的访谈,澄清和界定了下一代互联网互联设备关键技术的基本定义与范畴,从总体趋势、地域、核心申请人、核心发明人、专利强度、我国向国外申请专利,以及技术分支等方面分析了全球及我国下一代互联网互联设备关键技术的专利布局现状、竞争前沿和未来趋势,结合本导航领域国内外典型案例的总结,对研发创新和专利运用提出了相应的导航建议.

关键词 下一代互联网; 未来网络; 互联技术; 专利导航; next generation Internet; future network; interconnection technologies; patent navigation;

摘要 随着摩尔定律(Moore’s law)与迪纳德(Dennard)缩放定律逐步走向终结,依靠集成电路制程工艺的进步提升计算系统性能与效能越来越困难,计算体系架构的演进成为了未来计算系统发展的重要技术途径.本文首先从应用适应性、计算驱动方式、系统重心变化、计算核心构成,以及计算逻辑使用等不同的角度回顾了体系架构的发展历程,总结了不同体系架构的优缺点;然后着重分析了在人工智能、大数据等应用飞速发展的条件下未来计算系统的能力需求特征;最后提出了软件定义计算体系架构,并梳理了其重点研究内容与关键技术,为未来计算体系架构的发展提供了一条可行的技术途径.

关键词 体系架构; 软件定义计算; 领域专用架构; 异构计算; 可重构计算; architecture; software-defined computing; domain-specific architecture; heterogeneous computing; reconfigurable computing;

摘要 微处理器是现代信息系统的核心基础设施.大数据、人工智能、5G等技术的快速发展催生了数据量的爆发性增长,随之对数据处理能力的需求也急剧增长.专用计算技术被广泛认为是后摩尔时代的计算机体系结构演化的重要方向.专用处理器技术的发展一直伴生着通用处理器的发展,数字信号处理技术甚至早于传统意义上的通用处理器.通用处理器技术的发展,不仅在商业上取得了巨大的成功,很多关键技术也被专用处理器吸收借鉴用于提升专用计算的性能、优化可编程性等.本文主要分析了数字信号处理器(DSP)、图像处理器(GPU)、深度学习处理器(AI芯片)和网络处理器(NPU)的关键技术特征,并进一步对专用计算架构未来发展可能涉及的关键点作出了简要的评述.

关键词 专用处理器; 数字信号处理; 图像处理; 深度学习; 网络处理; domain-specific processor; digital signal processing; graphic processing; deep learning; network processing;

摘要 流连接广泛应用于提取多源流数据之间的关键信息,是大数据处理的重要支撑技术.但连接两条大数据流时大规模的连接谓词计算,使其易成为性能瓶颈.为提高处理性能,流连接系统常采用并行和分布式两种方式扩展.然而,采用多核并行的流连接系统的扩展性受到CPU核数限制,无法应对大规模数据流.采用分布式扩展的流连接系统由于引入分布式框架运行的开销,导致硬件处理效率严重下降.为实现高效大规模扩展,本文提出一种利用FPGA加速器外设向上扩展的流连接系统FJoin.加速器可进行高并行的流动连接,载入多个流元组后,连接窗口中的数据流经一次即可完成所有连接计算.对于逻辑容易在FPGA实现的连接谓词,通过大量基本连接单元串联构成深度连接流水线,实现大规模并行.通过主机CPU和FPGA设备协同进行连接控制,将连续的流连接计算划分为独立的小批量任务,高效地保证并行化流连接的完整性.在装备FPGA加速卡的平台实现了FJoin,基于大规模真实数据集的测试结果表明,对比部署在40个节点集群上的目前最好的分布式流连接系统,本文提出的流连接加速器FJoin可在单一FPGA加速卡上将连接计算速度提升16倍,达到5倍的系统吞吐,且时延满足实时流处理要求.

关键词 流连接; FPGA; 流处理; 硬件加速; 并行计算; stream join; FPGA; stream process; hardware accelerate; parallel computing;

摘要 随着现实世界中图计算需求的快速增长,同一平台上往往并发运行着大量迭代图分析任务.然而,现有的图计算系统主要是为了高效执行单个图分析任务而设计的.因此,当多个并发图分析任务同时在同一个底层图上并行执行时,现有图计算系统会面临巨大的数据访问开销.为了提高并发图分析任务的吞吐量,现有的核外并发图处理方案通过共享图数据减少并发任务的数据存储与访问开销.但是,由于现实世界中图的图顶点度数幂律分布特性以及图分析任务之间的差异性,现有方案在访问数据时依旧存在着大量的不必要的冗余I/O开销.这是因为即使静态图分区中绝大部分顶点处于非活跃状态或者只被少数图分析任务共享,现有方法也依旧会将整个分区加载入内存供并发图分析任务处理.为解决上述问题,本文提出了一个面向并发图分析任务的高效存储系统GraphDP.它能够插入到现有核外图计算系统中来透明有效地减少现有图计算系统执行并发图分析任务时的存储消耗与数据访问开销,从而提高并发图分析任务的吞吐量.具体来说, GraphDP使用一种新颖的动态I/O调度策略,能够使系统以最优的I/O访问方式完成图数据的加载,并有效地减少加载到内存和cache的数据.同时, GraphDP通过高效的缓存机制在内存中优先缓存被频繁访问的图数据,从而进一步减少数据访问开销.为证明GraphDP的有效性,我们将GraphDP插入到目前流行的核外图计算系统中,包括GridGraph, GraphChi和X-Stream.实验结果表明, GraphDP分别将GridGraph, GraphChi和X-Stream的吞吐量提高了1.57～2.19倍, 1.86～2.37倍和1.62～2.21倍.

关键词 迭代图处理; 并发任务; 存储系统; I/O开销; 吞吐量; iterative graph processing; concurrent jobs; storage system; I/O overhead; throughput;

摘要 随着数字经济时代的到来,数据已成为重要生产要素,将数据外包给第三方存储、管理、分析、计算等应用越来越广泛,随之而来的外包数据、外包计算等外包服务的可信性问题也日益突出,可验证技术被视为判定外包服务可信的一种有效且具有广泛应用前景的技术.该技术发展迅速、研究内容丰富、技术多样、种类繁多,且随着区块链、人工智能、隐私计算等新型外包服务需求的出现,为可验证技术带来了新的挑战和发展契机.本文对面向外包服务的可验证技术研究进展进行了梳理与总结.首先梳理总结给出了面向外包服务的可验证技术框架、分类方法、安全目标与评价体系.接着从外包数据和外包计算两个角度给出可验证技术的形式化定义,并分别论述其典型的可验证方案.然后从外包数据的角度,以验证数据类型为主线结合实现的功能和方法分别详细论述了不同数据类型、不同场景、不同实现方式的外包数据持有性验证和完整性验证技术;从外包计算的角度,根据外包计算类型的不同,总结归纳了5种典型外包计算的可验证技术特点及研究进展,并基于提出的评价体系对典型方案进行了详细的对比分析.最后结合新兴技术和应用热点,展望了可验证技术在前沿方向上的发展趋势、应用前景及其面临的挑战.

关键词 外包服务; 外包数据验证; 可验证计算; 可认证数据结构; 动态可验证结构; outsourcing services; outsourcing data verification; verifiable computation; authenticated data structures; dynamic verifiable structures

摘要 FBC是一种轻量级分组密码算法,由于结构简单、软硬件实现灵活等优点成为2018年中国密码学会(CACR)举办的全国密码算法设计竞赛中晋级到第2轮的10个算法之一.FBC密码包含3个版本支持128和256两种比特长度的明文分组以及128和256两种比特长度的密钥,本文主要对分组长度128位的两个版本进行分析.我们基于SAT (Boolean satisfiability problem)模型对FBC的差分特征进行自动化搜索,得到了新的14轮差分路线,概率为2~(-102.25).基于此路线我们给出了18轮FBC128-128和20轮FBC128-256差分分析,并且在分析过程中给出了复杂度估计.对于18轮FBC128-128差分分析,时间复杂度和存储复杂度分别为2~(101.5)和2~(52).对于20轮FBC128-256差分分析时间复杂度和存储复杂度分别为2~(184)和2~(96).

关键词 分组密码; 差分分析; FBC 算法; 布尔可满足性问题; block cipher; differential cryptanalysis; FBC; Boolean satisfiability problem

摘要 联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾向于选择诚实的训练.

关键词 联邦学习安全; 去中心化网络; 区块链; 数据消费; 激励机制; secure federated learning; decentralized network; blockchain; data consumption; incentives

摘要 传统基于区块链的“真实存储”系统在过滤“无效查询请求”时忽略了提供“不存在证明”,恶意节点可以随时对指定用户发动拒绝服务攻击.本文提出了可验证布隆过滤器的一种构建方式,基于布隆过滤器快速过滤无效查询请求的同时能有效提供证据证明数据不存在;此外,针对证明过程中可能造成的隐私泄露问题,本文提出了“隐秘的可验证布隆过滤器”和“数据混淆”两种方式,前者确保每个“不存在证明”只会泄露布隆过滤器的一位置零位,减少了数据泄露量;后者则是在前者的基础上进一步降低用户从泄露的布隆过滤器中推测出真实内容准确率.实验数据表明,当无效查询请求量占比为35%时,读取性能提升大约30%;当无效查询请求量占比为95%时,读取性能可提升十倍以上.

关键词 区块链; 可验证布隆过滤器; 可认证数据结构; 不存在证明; 隐私保护; blockchain; veri able Bloom lter; authenticated data structure; nonexistence proof; privacy preserving

摘要 算力网络旨在深度融合算力资源与网络资源,实现多种资源的高效协同,最大化资源利用率.算力网络边缘部分通常采用分布式软件定义网络架构,构建逻辑集中但物理分散的控制平面,并将其与数据平面分离,实现全网算力资源与网络资源的统一调度与编排.然而,攻击者极易将控制平面作为首要攻击目标,发起分布式拒绝服务攻击(distributed denial of service, DDoS),使控制平面大面积失效,严重影响计算任务的实时传输.为了解决算力网络中的安全问题,本文创新性地提出了基于深度强化学习的算力网络主动防御方法.首先,构建了马尔可夫决策过程(Markov decision process, MDP)模型来准确表征交换机与控制器映射关系的动态性,并设计了一种基于节点介数的奖励函数来反映DDoS攻击对控制器部署方案的影响.其次,综合考虑多种网络约束,将多控制器部署问题建模为约束满足问题,其可行解空间即为MDP模型的动作空间.最后,提出了一种基于深度强化学习的主动防御算法,迭代优化动作选择策略,智能化选择多控制器部署方案.实验结果表明,该方法在网络性能几乎无损的前提下,相比基准方法能够分别提升13%和8%的防御成功率.

关键词 算力网络; 分布式软件定义网络; 主动防御; 分布式拒绝服务攻击; 深度强化学习; computing power network; distributed software-defined network (SDN); moving target defense; distributed denial of service (DDoS); deep reinforcement learning

摘要 近年来,物联网技术的蓬勃发展带动了智能家居应用的快速发展,越来越多的智能家居平台开放各种应用程序接口,以方便用户实现自定义的智能家居应用,如设备联动控制.然而,这些开放接口中存在的安全缺陷也成为影响智能家居系统安全的重要因素之一.本文针对SmartThings智能家居平台的开放接口进行研究,发现了一系列新的具有安全缺陷的接口,并通过概念验证实验证实了其安全风险.为提升智能家居平台的安全性,设计并实现了检测智能家居云服务中接口滥用行为的工具SmartNotify.实验结果表明, SmartNotify能快速且准确地识别利用安全缺陷接口进行攻击的智能家居应用.

关键词 物联网安全; 智能家居安全; SmartThings平台; 开放接口; 云服务; IoT security; smart home; SmartThings platform; open interface; cloud service

摘要 随着计算单元和物理对象的高度集成,信息系统和物理系统正逐渐耦合发展为信息物理融合系统(cyber-physical system, CPS).根据CPS物理系统的客观规律,或业务流程间的复杂关联关系,CPS数据之间存在相互推断的可能;当出现从低安全域数据向高安全域数据的准确推断途径时,将引发推断型数据泄露威胁.本文通过分析数据推断引发的CPS数据泄露事件,从数据窃取和数据推断两个维度,提出数据泄露威胁的范式;将数据推断归纳为3类问题:状态估计问题、参数辨识问题和盲源分离问题,从模型驱动、数据驱动和数据–模型双驱动的角度,总结了数据推断的方法和算法.以电力市场为例,展示了基于公开电价数据推断电力系统关键参数的过程,验证了数据推断可以引发严重CPS数据泄露威胁.同时,分析了现有数据保护方法应对数据推断攻击时面临的挑战,探讨了CPS数据推断防御和数据安全治理的研究方向.

关键词 数据安全; 信息物理融合系统; 数据泄露威胁范式; 数据推断; data security; cyber-physical system; CPS; data leakage threat paradigm; data inference

摘要 随着无线通信技术在各领域的普及,基于该技术演进的移动边缘计算(mobile edge computing,MEC)引起了诸多研究者的关注.在MEC中,为确保边缘节点接入过程的安全性,近年来多个身份认证协议相继被提出,然而上述传统方案仅支持一对一的身份合法性认证,即实现了一个边缘节点与一个边缘服务器间的相互认证.由于需要通过重复认证操作以满足边缘节点在多个边缘服务器间的迁移需求,导致传统协议的工作效率较低、用户的通信体验欠佳.针对传统协议无法高效地解决MEC中边缘节点的移动性问题,本文基于无证书公钥密码体制,提出支持广播通信的身份认证机制,实现一个边缘节点同时与多个边缘服务器完成身份合法性认证的目标,确保边缘节点在多服务器间迁移过程的服务连贯性,提高MEC环境下的身份认证效率.此外,在随机谕言机模型下,基于离散对数问题和计算性Diffie-Hellman问题分别证明了本文协议中通信消息的不可伪造性和协商密钥的安全性;同时使用形式化分析工具ProVerif对协议的安全性进行了模拟验证,结果表明本文协议具有其所声称的安全性.与现有传统方案的性能对比结果表明本文协议具有更优的计算效率,更加适合在MEC等终端计算资源受限的网络环境下部署.

关键词 身份认证; 移动边缘计算; 无证书密码机制; 可证明安全性; identity authentication; mobile edge computing; certificateless cryptography; provably security

摘要 “云、大、物、移、智、链”等新技术的发展伴生了诸多安全问题特别是隐私泄露问题.密码学为这些问题的解决提供了独特视角和可行路线.这些新技术也促进了密码学研究的深入发展,许多新型密码原语、功能强大的高等密码算法与协议新型构造不断涌现.本文给出了具有隐私保护计算能力的几类高等密码算法与协议的研究进展综述,特别是安全多方计算、同态加密、零知识证明、以及不可区分混淆四类算法与协议的设计和分析研究进展,也通过具体示例讨论了它们的潜在应用场景.本综述既着眼于各类算法与协议的不同层级安全属性,也侧重于从模块化角度剖析具体构造的内在技巧逻辑甚至缺陷.本文有助于读者掌握这些高等密码算法与协议的最新理论和技术进展、背后的发展逻辑,并深悟其中的关键技术原理,在密码学理论和实践的结合过程中得到有益启发.

关键词 隐私保护; 安全多方计算; 同态加密; 零知识证明; 不可区分混淆; privacy preserving; secure multiparty computation; homomorphic encryption; zero-knowledge proof; indistinguishability obfuscation

摘要 为了避免电子健康数据(electronic health records, EHRs)在异常检测过程中泄漏患者信息和诊断结果等问题,针对医院与患者敏感数据的隐私保护,提出了一种基于CKKS全同态加密的EHRs异常检测隐私保护模型.将医院以及患者的EHRs由CKKS算法实现浮点数同态加密,设计一个基于密文比较算法的协议,通过可信密钥服务器与第三方数据中心之间的通信建立密文态孤立森林模型.并利用CKKS算法的SIMD技术,实现密文数据在孤立森林模型上的异常检测,最终返回密文结果.理论分析和实验结果表明,所提出的方案能够保证EHRs的隐私安全.并且在不同的EHRs数据集上验证,该模型优于传统的明文异常检测算法和同类型密文异常检测算法,且在密文态上能够保持和明文孤立森林算法相近的检测效率,有较好的异常检测效果.

关键词 同态加密; 孤立森林; 异常检测; 隐私保护; 密文比较; homomorphic encryption; isolation forest; anomaly detection; privacy protection; ciphertext comparison;

摘要 深度学习辅助密钥恢复攻击是2019年International Cryptology Conference (CRYPTO)上提出的一项全新密码分析技术.针对该技术至今无法应用于大状态分组密码的缺陷,本文提出了一种深度学习辅助的多阶段密钥恢复框架.该框架的核心是找到一个神经区分器组合,分阶段进行密钥恢复攻击.本文首先针对Speck的大状态成员分别训练了一组神经区分器,通过在该框架下利用区分器组合,设计并执行了实际密钥恢复攻击,证实了该框架的有效性.然后,提出了一种在低概率差分中寻找中性比特的方法,来把实际攻击扩展成覆盖更长轮数的理论攻击.最终,针对缩减轮Speck的最大状态成员取得了更好的密钥恢复攻击.这项工作为使用深度学习对更多分组密码进行密码分析铺平了道路.本文的验证代码已开源至https://github.com/AI-Lab-Y/NAAF.

关键词 大状态分组密码; 深度学习; 密钥恢复攻击; 差分分析; Speck; large-state block ciphers; deep learning; key recovery attack; differential cryptanalysis; Speck;

摘要 基于本地化差分隐私的多维分析查询(multi-dimensional analytical query, MDA)已得到了研究者的广泛关注.现有基于最优局部哈希(optimal local Hashing, OLH)机制与层次树结构的扰动方法存在泄露根结点隐私的风险.针对现有结合层次树结构的本地扰动机制不足,提出了一种有效且满足本地化差分隐私的MDA查询算法H4MDA (hierarchical structure for MDA),该算法充分利用层次树的横向与纵向结构特征设计了3种基于用户分组策略的本地扰动算法HGRR, LGRR-FD,LGRR.算法HGRR结合层次树横向结构与GRR机制本地扰动用户元组数据,通过摈弃根结点组合来响应MDA查询.不同于HGRR, LGRR-FD算法利用层次树的纵向结构与GRR机制扰动本地数据,同时通过添加假数据来避免叶子结点的隐私泄露. LGRR算法通过摈弃叶子结点层纵向扰动本地数据.收集者结合LGRR的扰动结果利用局部一致性处理技术重构层次树最后两层,通过添加虚拟叶子结点来响应MDA查询,而虚拟叶子结点计数之和等于其父节点计数. HGRR, LGRR-FD, LGRR算法与现有扰动算法在3种数据集上实验结果表明,其响应MDA查询的精度优于同类算法.

关键词 多维分析查询; 层次结构; 本地化差分隐私; 本地扰动; 随机应答机制; multidimensional analytical queries; hierarchical structure; local differential privacy; local perturbation; random response mechanism;

摘要 水声信道环境下,传统的密钥协商协议更容易遭受信息泄漏等安全威胁,而现有的隐蔽密钥协商协议由于受限于平方根定律,隐蔽通信速率不超过■.为解决上述难题,本文提出了一种基于水声信道的隐蔽密钥协商方案.在优先提取阶段,发送方以一定的功率向接收方发送均匀分布的随机消息,而接收方根据水下噪声方差信息,通过Gibbs采样计算出估计消息,并使用对数似然比检验获取初始密钥来减少消息传输时的不确定性和误比特率.信息调和阶段,发送方将伴随式发送给接收方,而接收方将接收到的伴随式与优先提取阶段得到的对数似然比序列进行联合解码来获得错误比特的位置信息,经过比特翻转后得到与发送方完全一致的最终密钥.通过假设检验理论和信息论,证明了方案的保密性、隐蔽性和可靠性.仿真结果表明,所提方案比现有方案性能有所提升.

关键词 水声信道; 隐蔽密钥协商; 优先提取; 信息调和; 对数似然比检验; underwater acoustic channel; covert secret-key agreement; advantage distillation; information reconciliation; log-likelihood ratio (LLR) test;

摘要 分层标识加密能有效减轻标识密码体制中密钥生成中心生成用户私钥和分发私钥的工作量.SM9标识密码作为我国商用密码行业标准和国家标准,在金融、政务等方面起着重要的作用,但SM9标识加密算法不具备分层加密的功能,不适合大规模网络的应用场景,阻碍了SM9加密算法的部署.本文基于商用密码SM9标识加密算法提出一个高效的分层标识加密方案SM9-HIBE.相比SM9标识加密算法,方案的密文只增加一个群元素,解密开销只增加一个双线性对运算,与接收者标识的长度无关.方案的安全性基于判定性BDHI困难问题,在随机谕言模型中可证明方案满足静态选择明文攻击模型下的不可区分性.最后,对方案进行比较分析,结果表明SM9-HIBE在计算开销和通信代价方面与现有HIBE方案是可比的.

关键词 分层加密; 标识密码; SM9; 密钥封装; 选择明文安全; hierarchical encryption; identity-based cryptography; SM9; key encapsulation; chosen-plaintext attack; CPA;

摘要 为了解决传统的机器学习中数据隐私和数据孤岛问题,联邦学习技术应运而生.现有的联邦学习方法采用多个不共享私有数据的参与方联合训练得到了更优的全局模型.然而研究表明,联邦学习仍然存在很多安全问题.典型地,如在训练阶段受到恶意参与方的攻击,导致联邦学习全局模型失效和参与方隐私泄露.本文通过研究对抗样本在训练阶段对联邦学习系统进行投毒攻击的有效性,以发现联邦学习系统的潜在安全问题.尽管对抗样本常用于在测试阶段对机器学习模型进行攻击,但本文中,恶意参与方将对抗样本用于本地模型训练,旨在使得本地模型学习混乱的样本分类特征,从而生成恶意的本地模型参数.为了让恶意参与方主导联邦学习训练过程,本文进一步使用了“学习率放大”的策略.实验表明,相比于Fed-Deepconfuse攻击方法,本文的攻击在CIFAR10数据集和MNIST数据集上均获得了更优的攻击性能.

关键词 联邦学习; 对抗样本; 投毒攻击; federated learning; adversarial example; poisoning attack;

摘要 现有的多数抗泄露加密机制的研究均假设敌手的泄露是来自收到挑战密文之前,并禁止敌手在挑战后进行泄露操作.然而,在现实中敌手往往是接触到密文数据后会通过各种手段获取相应密钥的泄露信息,因此挑战后的泄露容忍性更符合实际环境的真实应用需求.针对上述不足,本文将对身份基加密(identity-based encryption, IBE)机制的挑战后泄露容忍性展开研究,提出IBE机制熵泄露容忍性的属性要求和安全性定义;并在状态分离模型中联合熵泄露容忍的IBE机制和二源提取器设计抗挑战后泄露攻击的IBE机制,对上述构造在选择明文攻击下的安全性进行了形式化证明.此外,为了获得具有更优安全性的IBE机制,在上述构造的基础上,通过增加消息验证码设计选择密文攻击安全的挑战后泄露容忍的IBE机制.

关键词 挑战后泄露容忍性; 身份基哈希证明系统; 身份基加密机制; 熵泄露容忍性; after-the-fact leakage resilience; identity-based hash proof system; identity-based encryption; entropic leakage resilience;

摘要 国密SM2密码算法已经成为保障我国网络信息系统安全自主可控的关键技术.然而近期研究发现, SM2加密算法在实际部署应用时面临高效的算法替换攻击.该种攻击可以从当前的密文预测下一次加密所使用的随机数,从而可以在不知道解密密钥的情况下成功解密后续密文.密码逆向防火墙技术已被证实可以有效抵抗该种攻击,但其要求密文具有可重随机性,与SM2加密算法本身所具备的CCA (chosen-ciphertext attack)安全性相冲突.针对该问题,本文改进SM2加密算法,构造了具有RCCA (可重放CCA)安全性的公钥加密方案.该方案具有与SM2加密算法近似的安全性,且同时支持密文重随机操作,因此可以有效兼容密码逆向防火墙.方案的设计遵循Phan等提出的OAEP三轮构造范式,结合SM2加密算法进行改进,并在随机预言机模型下给出了严谨的安全证明.本文提出了首个基于国密算法的可重随机RCCA公钥加密方案,研究结果有助于提升SM2密码算法在实际应用中的安全性.

关键词 SM2; 加密算法; RCCA; 可重随机性; 密码逆向防火墙; SM2; encryption; RCCA; rerandomizability; cryptographic reverse firewall;

摘要 随着汽车保有量的持续增长和道路交通的饱和,车联网被视为有效提高交通效率,改善驾乘体验的有效技术之一.认证密钥协商协议是保证车载单元(onboard unit, OBU)与各种信息服务器安全交互的关键手段.通常,认证密钥协商协议所需的密钥被存储于OBU中.然而,由于车辆常处于无人值守状态, OBU失盗事件时有发生.因此,如何确保私钥的存储安全是一个具有挑战性的难题.为了解决上述问题,本文提出了基于不经意伪随机函数(oblivious pseudorandom functions, OPRF)和两方协同签名的抗捕获认证密钥协商协议.借助于两方协同签名,私钥被分成两个部分,一部分使用辅助设备的公钥加密,另一部分通过OBU和辅助设备运行OPRF协议才能恢复.由于OBU中没有存储任何秘密信息,即使OBU被盗取,攻击者仍然无法获取私钥.本文对提出的方案进行了全面的安全性分析和性能比较.结果表明所提出的方案可以抵抗各种已知的攻击,特别是设备被捕获导致的密钥泄露.此外,所提出的方案可以实现计算开销和通信开销的平衡.

关键词 车联网; Schnorr协同签名; OPRF; 认证密钥协商; 抗设备捕获; Internet of vehicle; Schnorr collaborative signature; OPRF; authentication key agreement; capture resilient;

摘要 消息认证码(message authentication code, MAC)是一种对称密码算法,能检查消息的完整性与来源合法性,可广泛用于各类信息系统.然而,当运行MAC算法的设备受到物理攻击时,攻击者可通过读取存储器或电路调试等手段获取算法密钥并生成合法的消息认证码,从而危害系统安全.为此,本文提出了PUF-MAC,一种基于物理不可克隆函数(physically unclonable function, PUF)和Hash函数的MAC算法. PUF是一种具有结构不可克隆性与输出不可预测性的数据映射实体,不同PUF实体映射间的差异来源于生产时物理环境的微小变化.通信双方可使用PUF生成共享密钥.在标准模型下,本文归约证明了PUF-MAC算法在适应性选择消息攻击下满足存在性不可伪造(existential unforgeability under chosen message attack, EUF-CMA),且算法的EUF-CMA安全性依赖于Hash的弱抗碰撞性以及PUF的EUF-CMA安全性.同时,本文基于PUF-MAC算法设计了一种满足前后向安全性的密钥协商方案和双向身份认证协议,体现了PUF-MAC良好的实用性.理论分析表明,与其他MAC算法相比, PUF-MAC结构轻量且实现简单,无需预先存储大量的PUF响应. PUF的引入使攻击者即使获取算法密钥,也无法生成合法的消息认证码,保证了通信系统的安全.

关键词 消息认证码; 密钥管理; 物理不可克隆函数; 身份认证; MAC; key management; PUF; authentication;

摘要 近年来网络攻击与数据泄露事件层出不穷,网络安全受到国家及相关部门的高度关注.国产密码算法作为保障我国网络与信息安全的关键技术,推动其应用与实施既符合构建我国网络强国的战略需求,又能保障实际应用的健康发展. SM2公钥加密算法是我国自主设计的国产商用密码之一,可有效保障数据在通信过程中的安全性.然而,经典SM2公钥加密算法适合“一对一”通信场景,在“一对多”通信场景中需承担较大的计算与通信开销.为提升SM2公钥加密算法在“一对多”通信场景中计算与通信效率,扩展我国商用密码的应用范围,本文将我国商用密码SM2公钥加密算法和广播加密概念相结合,利用Diffie-Hellman密钥交换和多项式秘密分享的思想,设计了基于SM2的公钥广播加密方案.所构造方案最大程度地保留原有SM2公钥加密算法结构,通过简单地扩展即可实现在多用户场景下消息安全广播的自主可控.与现有广播加密方案相比,所构造方案的系统参数大小与接收者数量无线性关系,以及系统无需指定数据发送者广播消息.所构造方案的安全性分析表明,本文方案与SM2公钥加密算法具有相同安全强度.理论分析与实验仿真表明,所构造方案具有较好的性能,显著增强了我国商用密码的实用性.

关键词 公钥加密; SM2公钥密码算法; 广播加密; Diffie-Hellman密钥协商; publi-key encryption; SM2 public key cryptography; broadcast encryption; Diffie-Hellman key exchange;

摘要 推荐系统可帮助用户从众多的数据中发现用户所需数据,与此同时,上传用户原始数据给服务器也可能泄露用户隐私.本文使用本地化差分隐私技术为推荐系统中的用户数据提供隐私保护.在本地化差分隐私模型中,隐私预算控制用户数据的隐私保护程度,较高的隐私预算通常意味着较高的分析准确性.为在最小化隐私损失的同时最大化推荐准确性,我们将隐私预算设置问题建模为多臂赌博机问题,并提出基于置信度上界的学习策略帮助用户选择最优的隐私预算.考虑到用户对不同数据的敏感程度不同,我们对学习策略进行了改进.真实数据集上的实验结果表明,所提策略可以帮助用户选出合适的隐私预算,可有效提高用户的累计收益.

关键词 推荐系统; 本地化差分隐私; 隐私预算; 强化学习; 多臂赌博机; recommendation system; local differential privacy; privacy budget; reinforcement learning; multiarmed bandit;

摘要 在真实场景,特别是工业场景下的高级持续性威胁(advanced persistent threat, APT)具有复杂性和长期性,但当前方法无法有效提取攻击中的长期关联关系.针对这一问题,本文提出一种基于溯源图的APT攻击检测方法 SeqNet. SeqNet采用序列特征提取方式,实现APT攻击检测.在SeqNet中,首先将描述系统运行状态的溯源图序列转化为特征向量序列,然后使用GRU (gate recurrent unit)模型提取系统状态变化特征,并使用结合局部注意力机制的编解码器模型训练GRU模型,最后利用K-means聚类方法对系统正常行为进行建模.本文在5个公开数据集StreamSpot, wget, shellshock,ClearScope和CADETS上进行了实验,并与当前具有代表性的方法进行了对比.本文方法在5个数据集上都取得了相似或更好的效果.实验结果证明本文方法能够实现真实场景下的APT攻击检测.

关键词 APT攻击检测; 溯源图; 异常检测; 序列特征提取; 局部注意力机制; APT attack detection; provenance graphs; anomaly-based detection; sequence feature extraction; local attention mechanism;

摘要 现有的云存储服务普遍推出了浏览文件的功能,这为用户通过拍摄屏幕上的文件来窃取信息带来极大的便利,同时也加重了信息泄露的风险.因此,用户通过拍照窃取信息对云存储服务来说是一个潜在的安全性问题.现有的办法是云端在推送图像至用户端前,先嵌入与用户身份相关的抗屏摄水印,那么云端能从拍摄的图像检测到水印,发现用户身份.然而云端和用户端都有含用户水印的图像,我们无法确认被泄露的图像是从云端流出的还是从用户端流出的.为了消除泄露源的二义性,使用密文水印,云端将用户的密文水印嵌入到明文图像,生成含用户水印的密文图像.只有用户端能将之解密,获得相应的明文图像.一旦该图像被偷拍泄露,我们可断定该图像一定是从用户端流出的.但是目前的抗屏摄水印算法不支持上述功能,仅支持明文水印的嵌入.为此,本文提出一个云与用户之间的抗屏摄密文水印协议,旨在保护版权用户对其图像的版权,防止使用图像的用户通过偷拍窃取图像.通过理论分析和仿真实验,本文验证了所提出协议在实施过程中的安全性和有效性.

关键词 云存储; 密文水印协议; 抗屏摄水印; 版权保护; 泄露追踪; cloud storage; ciphertext watermark protocol; screen-shooting resilient watermark; copyright protection; leakage tracking;

摘要 灵活有效的身份体制方案一直是信息时代的核心需求之一.传统的中心化公钥基础设施存在诸多缺陷,而已有的运行在区块链上的分布式的公钥基础设施同样存在诸如性能、鲁棒性、不可否认性、身份灵活性等方面的问题.本文创新地将区块链与去中心不可否认属性签名结合,提出一种新型分布式公钥基础设施方案,方案利用门限算法和属性签名对身份进行细粒度的管理,并引入非交互式零知识证明使得证书具有不可否认的性质,利用区块链的共识机制进行证书库的同步以实现分布式的身份认证.本文通过实验仿真和分析并结合具体场景,证明了该方案在安全性和可用性上都满足实际落地的需求.

关键词 区块链; 公钥基础设施; 属性签名; 门限算法; 零知识证明; 身份认证; blockchain; public key infrastructure; attribute-based signature; threshold algorithm; zero-knowledge proof; identity authentication;

摘要 中本聪共识是区块链共识机制中最基础和研究最广泛的一种共识机制,其安全性对整个区块链领域的发展具有重要的理论意义和应用价值.现有大量研究在各种模型假设下对中本聪共识进行了安全性分析和证明.本文首先详细描述了中本聪共识的执行模型,包括时间模型、网络模型、敌手模型等.其次,系统总结了中本聪共识安全性的形式化定义.再次,根据时间模型将中本聪共识研究方法分为基于离散时间模型和连续时间模型两类,并指出不同方法的优缺点.最后对中本聪共识的安全性研究进行展望,旨在为区块链共识机制的研究提供技术支撑.

关键词 中本聪共识; 区块链; 安全性证明; 数字货币; 工作量证明; Nakamoto consensus; blockchain; proof of security; cryptocurrency; proof-of-work;

摘要 近期发布的ChatGPT和GPT-4等大型语言模型,不仅能高质量完成自然语言生成任务,生成流畅通顺,贴合人类需求的语言,而且具备以生成式框架完成各种开放域自然语言理解任务的能力.在少样本、零样本场景下,大模型可取得接近乃至达到传统监督学习方法的性能,且具有较强的领域泛化性,从而对传统自然语言核心任务产生了巨大的冲击和影响.本文就大模型对自然语言处理的影响进行了详细的调研和分析,试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇,探讨大模型将加强哪些自然语言处理共性问题的研究热度,展望大模型和自然语言处理技术的未来发展趋势和应用.分析结果表明,大模型时代的自然语言处理依然大有可为.我们不仅可以将大模型作为研究方法和手段,学习、借鉴大型语言模型的特点和优势,变革自然语言处理的主流研究范式,对分散独立的自然语言处理任务进行整合,进一步提升自然语言核心任务的能力;还可就可解释性、公平性、安全性、信息准确性等共性问题开展深入研究,促进大模型能力和服务质量的提升.未来,以大模型作为基座,拓展其感知、计算、推理、交互和控制能力,自然语言处理技术将进一步助力通用人工智能的发展,促进各行各业的生产力进步,更好地为人类社会服务.

关键词 ChatGPT; 对话式大模型; 大型语言模型; 自然语言处理; 通用人工智能; chat generative pre-trained transformer; large language models; natural language processing; artificial general intelligence

摘要 神经网络在方面级情感分类任务上已经取得了良好的性能.然而,由于复杂且耗时的数据标注流程,方面级情感分类在很多领域上是低资源甚至是零资源的,这限制了该任务在实际场景中的应用.为了解决这个挑战性的问题,本文关注跨领域的方面级情感分类,并提出一种基于语法和语义分割的跨领域方面情感分类方法.具体而言,针对不同领域用词差异造成的领域漂移和注意力泛化问题,本文首次提出利用单纯的语法信息来获取可在领域之间迁移的语法注意力,并引入与目标领域相近的文档情感分类任务来增强神经网络模型对目标领域的情感识别能力,最终从语法和语义两个层面分别提升模型的注意力机制和文本上下文表示.实验在6个跨领域方面级情感分类任务上进行,结果表明,与其他9种基线方法相比,本文的方法在6个任务上都取得了最先进的性能,在平均准确率和平均macro-F1两个指标上比之前最好的模型DIFD分别提升7.14%和7.6%.此外,即使以大规模预训练模型BERT, BERT-ADA, RoBERTa等作为骨干网络,本文的方法仍能实现3.5%以上的平均准确率提升和平均macro-F1提升.

关键词 方面级情感分类; 跨领域; 神经网络; 注意力; 语法和语义; aspect-level sentiment classification; cross-domain; neural network; attention; syntax and semantics;

摘要 动态网络链路预测是目前复杂网络的热点研究方向,网络表示学习可以有效学习到节点的相似性,从而为链路预测提供基础.现有的动态网络表示学习方法大多先将动态网络进行离散窗口化,然后在静态网络快照图上建模,这样很难有效处理具有细粒度时间特性的动态网络.本文提出了一种可以学习动态网络中复杂的时间特性的链路预测模型,该模型使用连续时间事件序列表示动态网络,对网络中的连续时间信息和结构演化特征进行学习,并提出了基于时间注意力的信息传递机制来模拟网络中信息的扩散与聚合,最后将链路预测转化为分类问题.实验在4个真实动态网络数据集以及模拟网络上进行,并以ap和auc作为评价指标.真实网络实验结果证明该模型能够较好地学习网络演化的连续性,得到更有效的节点表示,从而提升了链路预测效果.模拟网络的实验结果表明链路预测的效果和网络模型相关,但本文模型仍可以获得较好的预测效果.

关键词 链路预测; 连续时间; 动态网络; 表示学习; 复杂网络; link prediction; continuous time; dynamic network; representation learning; complex network;

摘要 知识图谱补全是知识图谱构建、自然语言处理和知识工程等领域的重要研究课题.知识图谱不仅是实现通用领域和专业领域精准知识服务的知识支撑,而且是信息检索、问答交互和信息推荐等领域取得突破性进展的必要基础.知识图谱的低质量和小规模是阻碍知识图谱广泛应用的主要瓶颈.知识图谱补全的目的是构建大规模高质量的知识图谱,以不断更新和扩充知识图谱.针对现有知识图谱补全方法难以从非结构化文本等辅助信息中提取深层次语义特征的问题,本文提出一种基于解析图嵌入和加权图卷积网络的知识图谱补全方法.一方面,该方法通过加权图卷积网络,对实体描述文本的语义依存分析进行建模,构建语义依存解析图嵌入;另一方面,引入了实体描述文本的多粒度句嵌入生成方法,旨在于构建能够捕获多粒度语义、深层次语义特征的实体表示学习.通过在两个公开数据集上的实验结果表明了本文知识图谱补全方法优于现有方法,验证了本文方法的有效性和优越性.

关键词 知识图谱补全; 解析图嵌入; 加权图卷积网络; 语义依存分析; 实体表示学习; knowledge graph completion; parsing graph embedding; weighted graph convolutional network; semantic dependency parsing; entity representation learning;

摘要 文本复述可以辅助机器翻译、智能问答、文本分类等任务,是非常重要的自然语言处理任务.近年来,一些研究探索了基于结构变换的文本复述,从无监督学习的概率化表示空间中采样多个句法表示并生成多个复述.然而,通过后验分布采样句法表示生成的复述往往高度相似,缺乏多样性;另一方面,从先验分布采样句法表示又难以保证与给定的语义表示相匹配,导致生成的复述质量欠佳.本文提出了基于句法模板的文本复述模型,引入了句法模板隐变量建立语义空间和句法空间的联系,并进一步提出了两步采样策略:(1)使用先验分布采样句法模板,使得采样的句法表示更加多样化;(2)使用后验分布采样句法表示,以确保句法表示与语义表示的匹配.实验表明,两步采样策略有效地结合了先验采样和后验采样的优势,生成的文本复述可以在具备良好生成质量的同时保持着更好的多样性,取得了当前最佳的复述性能.

关键词 无监督复述; 变分自编码器; 句法结构; 采样; unsupervised paraphrasing; variational autoencoder; syntax structure; sampling;

摘要 序列化推荐因其实用性和较高推荐精度在近期受到了人们广泛关注.不同于传统推荐方法,序列化推荐的核心在于如何基于用户近期交互行为来捕获用户的短期兴趣.现有工作或者依次考虑用户交互序列中物品之间的成对关系,忽略了更为重要的多对一关系;或者将用户最近交互的多个物品视为集合,忽略了物品之间的相对次序.这不仅未能充分挖掘物品之间的复杂关系,而且未准确刻画用户兴趣的演变过程.为此,本文提出门耦合胶囊网络(gating coupled capsule network, GCC),一种从个体层、联合层以及局部有序性3个层面细粒度分析物品间关系对于用户短期兴趣影响的方法.借助胶囊网络的空间感知能力, GCC引入个性化胶囊模块建模用户高阶时序信息,其不仅能够捕获物品间的联合层关系,也保留了物品间的局部有序性.另外,本文在GCC中设计了用于建模物品间成对关系的个性化门单元模块,以此捕获个体层关系对于用户短期兴趣的影响.在4个真实推荐场景下的实验结果表明, GCC相比于主流序列化推荐方法在多个评价指标上具有显著的性能优势.

关键词 胶囊网络; 序列化推荐; 门单元机制; 隐式反馈; 推荐系统; capsule networks; sequential recommendation; gating mechanism; implicit feedback; recommender systems;

摘要 语言理解是认知科学和计算机科学交叉领域共同关心的问题,但两个学科在选择具体研究问题时却十分不同.认知科学领域的研究侧重解析大脑的工作机制,更多地关注于描述大脑对语言的响应,缺乏对大脑语言功能整体化、系统化的研究,而计算机科学家在选择研究问题时重点关注实际应用效能,往往忽略了对语言最本质规律的研究.那么,如何实现两种思路的交叉融合,为智能语言计算模型的构建和语言认知机理的研究带来新的机遇和启发呢?本文首先简要回顾了认知科学和计算机科学在语言理解方向上的研究问题、发展历程和研究方法,重点阐述研究现状和面临的挑战,之后对比认知科学和计算机科学领域对于语言理解问题的主要观点,分析两者之间的异同.最后对现有语言认知和语言计算两个领域的交叉融合方法进行归纳和总结,并对未来发展趋势予以展望.

关键词 语言认知; 语言计算; 人的语言理解; 机器的语言理解; 交叉研究; language cognition; language computation; human language understanding; machine language understanding; interdisciplinary research;

摘要 会话推荐旨在根据用户在会话中的短期行为,预测用户的后续行为,多应用于用户匿名访问网站的场景.会话推荐的核心在于商品之间协同关系的建模,以提升推荐结果的性能.现有方法大都挖掘商品交互顺序信息以计算商品间的协同关系.这种方式仅仅考虑了商品之间的相邻交互的信息,忽视了历史交互信息.其实,若两个商品共享相同的历史交互信息,即它们具有一定的协同关联性.例如,在两个商品交互序列为I_1-I_2-I_3和I_1-I_2-I_4的会话中,商品I_3与I_4的历史交互信息均为I_1-I_2,则商品I_3与I_4极有可能具有较强的关联关系.因此,本文提出了一种新颖的会话推荐模型IHGCN,通过分析会话的商品交互序列建模商品之间的关联关系,同时挖掘了相邻交互信息和历史交互信息.为了从这些交互信息中协同分析出商品特征,所提出方法使用图结构构建商品之间的关系,并引入图卷积网络从商品关系图中学习商品特征.该方法使用特征维度级的细粒度注意力机制挖掘户的全局偏好,并融合用户的局部偏好;基于学习得到的商品特征和用户偏好特征生成最终的推荐结果.本文在3个公开数据集上进行了验证分析,与当前最好的相关方法的比较结果表明所提出方法 IHGCN的有效性和优越性.

关键词 会话推荐; 图卷积网络; 商品交互相似性; 用户偏好; 注意力机制; session-based recommendation; graph convolutional network; item interaction similarity; user preference; attention mechanism;

摘要 人机物融合的新兴领域需要新型操作系统内核以支持泛在计算,对下管控海量异构硬件,对上服务动态多变应用场景.本文提出一种积木式内核架构BrickOS,可以根据使用场景灵活选择要加入内核的系统组件,同时可以选择将系统组件运行在用户态以提供较好的安全性,或者运行在共享地址空间的内核态中以提升性能.为了保障运行在相同地址空间中的系统组件的安全性, BrickOS为底层硬件的内存保护机制提供了统一的抽象,并将其用于单地址空间的内存隔离.测试结果表明BrickOS可以根据不同场景生成定制化内核,并拥有较低的进程间通信(inter-process call, IPC)开销,整体性能良好.

关键词 操作系统内核; 组件编排; 进程间通信; 内存隔离; operating system kernel; components arrangement; inter-process communication; memory isolation

摘要 人机物融合泛在计算的新场景和新模式,需要新型的操作系统,即泛在操作系统.存储管理作为泛在操作系统的一项核心功能,设计轻量化、高性能和动态可适配的存储系统是推进泛在操作系统发展的必要举措.然而,对于“端(终端设备)–边(边缘端)–云(云端)”泛在场景中普遍存在的结构化数据,传统存储解决方案存在I/O放大严重、系统体量过大和软件栈冗余等问题,难以满足泛在应用的需求.为此,本文从系统全栈的角度进行原创性探索,提出原生表存储系统.本文首先回顾了计算机系统的发展历史;之后分析泛在计算时代的新需求,总结出泛在操作系统的基本形态,并介绍最新研究成果;然后剖析了现有结构化存储方案在“端–边–云”场景下面临的挑战;进一步提出面向泛在操作系统的原生表存储系统,并从端侧和边/云侧两个场景深入分析其架构优势.最后,总结全文并展望未来发展趋势.

关键词 泛在计算; 泛在操作系统; 原生表存储; 软件栈; 端-边-云; ubiquitous computing; ubiquitous operating system; native table storage; software stack; end-edge-cloud

摘要 巨型星座是未来天基系统的一个重要发展方向.本文基于巨型星座核心共性需求以及对桌面、物联网、车联网、卫星等典型应用场景操作系统发展历程的研判,分析了应用场景需求与操作系统间的演化规律,提出了我国发展完全自主可控星云操作系统的构想和技术途径,包括架构定义、硬件载体、内核设计、安全可信,以及生态建设等方面,以满足巨型星座复杂应用场景的需求.

关键词 巨型星座; 星云操作系统; 共性需求; 应用场景; 发展思路; mega-constellation; China satellite cloud operating system; common requirements; application scenario; development research

摘要 软件开发作为人类当代独特的智力活动,经历了从作坊式的个体创作到工业化群体大生产,再由工业化群体大生产回归大规模群体创作的历史转变,产生了工程范式与开源范式两次变革.工程范式聚焦线性的确定性问题的软件开发,几乎放弃对不确定性问题的关注.开源范式全面拥抱不确定性,但对结果不做确定性承诺.本文面向软件定义一切的新时代,系统总结两次软件开发范式变革的核心规律,结合我们长期的研究与实践,提出软件开发群智范式,采用“群体智能”为本源的科学观、“宏观演化、微观求精”的核心理念,以及“两个联接、一个转化”的方法论,重新认识软件开发活动,为人机物三元共融的群智软件开发提供指导.

关键词 软件开发; 范式变革; 工程范式; 开源范式; 群智范式; software development; paradigm shifting; engineering paradigm; open source paradigm; crowd intelligence paradigm;

摘要 AdvSce是一个面向自动驾驶系统的安全关键场景生成工具,能够在给定初始场景的基础上,以添加额外交通参与者的方式,生成挑战自动驾驶系统控制车辆(主车)安全性的扰动场景,用于自动驾驶系统的仿真测试.不同于既往研究中,首先确定场景参数空间,再使用黑盒优化算法生成安全关键场景的工具或方法, AdvSce可以基于对主车行为的分析,在场景生成过程中动态地构造能够挑战主车安全性的场景参数空间,从而实现高度自动化且高效的安全关键场景生成.我们使用AdvSce在LGSVL仿真器中生成了面向Apollo 7.0自动驾驶系统的测试场景.结果表明,相比现有的安全关键场景生成工具, AdvSce具有更高的安全问题场景生成效率.

关键词 自动驾驶系统; 仿真测试; 安全关键场景生成; 基于搜索的优化; 行为序列提取; autonomous driving system; simulation-based testing; safety-critical scenario generation; searchbased optimization; behavioral sequence extraction;

摘要 SQL生成(text-to-SQL)是自动化软件工程的重要应用之一,也是语义解析领域的研究热点.SQL生成根据输入的自然语言描述自动生成相应的SQL数据库查询语句,它允许非专业人员在不了解SQL语法的情况下访问数据库.随着大量SQL相关数据集的不断构造以及人工智能技术的卓越进步, SQL生成任务也得到了极大的发展.基于深度学习的SQL生成(deep learning-based text-to-SQL)能够利用大规模数据的优势,从已有数据中学习自然语言、数据库以及SQL语句的表示,并根据新的自然语言输入生成符合查询需求的SQL语句.相对于传统的SQL生成,基于深度学习的SQL生成具有高准确率、输入信息灵活和可迭代学习的优点.近年来,研究者在基于深度学习的SQL生成方面进行了一系列的研究,本文从SQL生成场景、数据集、模型结构和评估方法层面对现有研究进行分类综述.

关键词 SQL生成; 语义解析; 深度学习; 代码生成; 编码–解码模型; text-to-SQL; semantic parsing; deep learning; code generation; encoder-decoder;

摘要 空间并置(co-location)模式挖掘旨在发现空间特征间的关联关系.一个并置模式是空间特征集合的子集,它们的实例在空间中频繁并置出现.传统的并置模式挖掘方法大多基于表实例计算模式的并置程度,但表实例的生成和存储将导致巨大的时间、空间消耗.针对这一问题,本文提出了一种基于列计算的空间并置模式挖掘方法,不再生成表实例,只需要搜索模式的参与实例.为了加速参与实例搜索,设计了实例搜索空间剪枝、候选参与实例验证、频繁性提前感知等优化策略.在此基础上,提出了CPM-Col算法,讨论了算法的复杂度、正确性和完备性.在真实和模拟数据集上进行了大量实验,实验结果表明,本文提出的算法比其他7个baseline算法具有更好的性能和可扩展性,特别地,CPM-Col算法的效率提升达到数倍至数个量级.此外,实验验证了本文提出的优化策略的有效性.

关键词 空间数据挖掘; 并置模式; 列计算; 搜索算法; 剪枝技术; spatial data mining; co-location pattern; column calculation; search algorithm; pruning technique;