摘要 说服是人类交互过程中的重要能力,赋予人机对话交互系统强大的说服能力,可以实现对交互过程中话题走向和主观逻辑的有效控制,促进人机交互系统进一步智能化.现有说服性人机对话交互研究缺乏对说服机理层面的建模,且仅关注于一对一的简单说服场景,难以适应复杂且更具有普适性的群体说服场景.鉴于此,本文提出“群智说服对话”的概念,利用多个角色各异的说服智能体,从不同的话题角度,结合多样化的群体说服策略,协同配合以高效完成说服任务.首先,本文从认知心理学基础理论出发,总结归纳可以有效改变说服者心理认知的群智说服对话策略.其次,对复杂群智交互场景下的说服过程进行深度剖析,建立面向复杂说服场景的通用群智说服对话系统架构,实现对群智说服对话场景的深入理解和全面建模.然后,本文对群智说服对话领域的研究挑战和关键技术进行了阐述和讨论.最后,介绍本文在这方面的研究实践.

关键词 群智说服对话; 说服策略; 群智能体; 认知心理学; crowd intelligence persuasive dialogue; persuasive strategies; crowd intelligence agents; cognitive psychology

关键词 图聚类模型; 平凡解; 快速聚类; 离散优化; 块坐标下降法; graph clustering model; trivial solution; fast clustering; discrete optimization; block coordinate descent method

关键词 强化学习; 多智能体系统; 多智能体协作; 开放环境机器学习; 开放环境多智能体协作; reinforcement learning; multi-agent system; multi-agent coordination; open environment machine learning; open environment multi-agent coordination

摘要 作为一种智能化软件形态,融合了神经网络和符号规则的神经符号系统正受到越来越多的关注,相关研究爆炸性增长.然而,现有技术仍然难以有效支持较大规模神经符号系统“端到端”的自动构建.神经网络训练和符号规则学习过程中对非确定性的不兼容的处理方式是造成神经符号学习效果欠佳的一个关键因素.本文旨在以非确定性管理的新视角,较为系统、一致、严谨地讨论分析“端到端”神经符号学习的技术挑战,并以此视角整理讨论相关工作的思路、进展和当前仍然存在的问题.在此基础上,展望下一步的发展方向.

关键词 神经符号学习; 神经符号接地; 推理捷径; 符号约束合成; neuro-symbolic learning, neural symbol grounding, reasoning shortcuts, constraint synthesis

摘要 围绕国家自然科学基金委信息科学部人工智能学科(F06) 2018～2023年青年科学基金项目、地区科学基金项目、优秀青年科学基金项目以及国家杰出青年科学基金项目等人才项目的申请及资助情况,从学科领域分布、申请年龄性别、依托单位分布以及依托单位变更情况等角度进行了分析,为人工智能领域的人才队伍建设、学科发展布局提供参考.

关键词 国家自然科学基金; 人工智能学科; F06代码; 人才项目; 申请与资助; national natural science foundation; artificial intelligence discipline; F06; talent funding; application and funding

摘要 无监督学习不需要对训练数据进行人工标注,在硬件系统的图像分类应用中具有重要价值.现有忆阻脉冲神经网络(memristive spiking neural network, MSNN)的无监督学习主要集中于前后神经元之间的突触调节过程,这导致学习仅限于局部神经活动而忽略了神经反应之间的内部联系.联想记忆是大脑实现记忆的重要方式,其通过无监督方式将不同刺激关联起来以建立互联的网络记忆.同时,人类视觉系统利用注意机制从海量信息中选择重要信息,以有效减少输入神经元的数量和神经网络的规模.本文提出了一种基于注意力的联想忆阻脉冲神经网络(attention-based associative memristive spiking neural network, AAMSNN)的全电路设计,并将其应用于无监督图像分类应用.其中,注意力编码模块和注意力选择模块启发于人脑的注意力机制,用于搜索并选择重要特征信息,减少AAMSNN的输入神经元数量.联想忆阻脉冲神经网络由巴甫洛夫联想忆阻交叉阵列构成,通过调节联想记忆权重实现无监督图像分类.与其他MSNN相比, AAMSNN具有更小的MSNN规模和更少的忆阻器数量,并实现了更优的无监督图像分类准确率.

关键词 忆阻脉冲神经网络; 注意力; 联想记忆; 无监督学习; 图像分类; memristive spiking neural network; attention; associative memory; unsupervised learning; image classification

摘要 数据定价有助于释放数据的价值,并为数据交易提供依据,推动数据市场的发展和创新.目前,数据价值具有不确定性、多样性和制约性等问题,如何对数据进行准确的价值评估是数据定价的首要问题.在此背景下,本文提出的方法可以有效地解决数据定价的不确定性和多样性问题.本文构建了基于数据质量和容量的二元非线性集成效用函数来评估数据价值,融合斯塔克伯格(Stackelberg)博弈模型分析参与者行为,利用KKT算法实现了数据产品的最优定价.研究发现原始数据的最优容量、最优质量、最优价格和数据产品提供商利润与单位购买成本存在负相关关系,与消费者数量和消费者敏感程度存在正相关关系,且与消费者敏感程度的正相关关系更大.通过与基于一元效用函数的定价模型对比,进一步验证了本文所提出的考虑集成效用的数据产品定价模型具有显著的优越性.

关键词 数据定价; 数据产品; 数据交易; 集成效用; 斯塔克伯格博弈模型; data pricing; data products; data trading; integrated utility; Stackelberg game model

摘要 联邦学习能够在隐私保护的前提下联合多个参与者进行协同学习,然而经典的联邦学习不具备持续学习的能力,无法适应动态变化的应用场景.联邦持续学习近期引起了广泛的关注,其允许多个参与者在协同学习的同时进行持续学习.联邦持续学习是一种更加复杂的学习场景,其面临的挑战包括灾难性遗忘,异构性以及通信资源受限.为了应对这些挑战,本文提出一种基于原型学习的联邦持续学习方法.该方法利用原型进行知识的共享,提升通信效率的同时增强了对模型异构性的适应能力.此外,该方法设计了基于知识蒸馏和回放的灾难性遗忘的预防机制.本文提供了所提出方法的收敛性分析,并且通过对比实验和消融实验验证了该方法的有效性.

关键词 联邦持续学习; 原型学习; 知识蒸馏; 灾难性遗忘; 数据异构; federated continual learning; prototype learning; knowledge distillation; catastrophic forgetting; data heterogeneity

摘要 近年来,图神经网络在各个领域的图数据挖掘任务上取得了显著的成功,已成为领域的研究热点.图神经网络通过结构传播节点信息,并以此计算节点的表征,在大量应用场景上取得了显著的效果提升.大多数图神经网络模型遵循消息传递机制,直接将原始图数据作为输入,假设观测到的图结构准确地描述了节点之间完整的关系.然而,真实场景中图数据的产生往往受多种因素影响,包含大量随机噪声和人为扰动.这些噪声信息和干扰信息在图神经网络信息聚合的过程中随着图结构传播,对图表征质量产生严重的影响.如何度量、识别图数据中的噪声信息,是领域关注的热点问题之一.本文从信息论的角度出发,提出了一种非线性信息瓶颈指导的层次图结构学习方法 NIB-HGSL,针对图层级分类任务,为去除结构噪声、学习鲁棒的图表征提供了一个统一通用的框架. NIB-HGSL通过有效信息保留与噪声信息压缩的均衡优化,可以获得对下游任务来说最关键的层次化最小充分图.实验结果表明,本文所提出的NIB-HGSL方法与其他基线方法相比,可提高图分类和图回归任务的准确性和鲁棒性.

关键词 图表示学习; 信息瓶颈; 图结构学习; 图神经网络; 图分类; graph representation learning; information bottleneck; graph structure learning; graph neural networks; graph classification

摘要 多模态多目标问题需要求解多个全局或局部最优帕累托解集,找到这些最优解集具有极大的理论意义和实际经济效益.近年来,学者们提出许多进化算法用于解决该问题.然而,多数算法在进化过程中首先选择收敛性好的个体构建交配池,然后再考虑决策空间和目标空间的多样性.因此,决策空间中多样性好的个体可能被目标空间收敛性好的个体所替代.另外,由于帕累托最优子集在决策空间中有不同的形状和位置,因此个体很难均匀地收敛到每个帕累托子区域.本文提出了基于全局密度更新策略的两阶段多模态多目标进化算法.首先,为减轻交配池和亲本与子代一对一比较的负面影响,我们并不构建交配池,而是提出了新的算法框架,分两阶段寻优.该框架利用不同阶段进化算法的特征进行子代更新,有利于平衡种群的搜索和开发.然后,为了解决帕累托子集分布不均的问题,我们设计了目标空间密度自适应策略和全局密度估计更新种群策略,用于保持目标空间和决策空间种群多样性.我们将提出的算法与7种有代表性的多模态多目标算法进行比较.实验结果表明,我们的算法在决策空间中能找到更多等价的解,并且能更好地保持决策空间和目标空间多样性和收敛性的平衡,整体性能要好于所比较算法.

关键词 多目标进化算法; 多模态多目标优化问题; 进化算法; 全局密度; 参考向量; 边界点聚集; multi-objective evolutionary algorithm; multimodal multi-objective optimization problem; evolutionary algorithm; global density; reference vector; boundary point clustering

摘要 组合优化问题的求解是计算机科学、应用数学等学科共同研究的基础性问题.其固有的计算复杂性为精确求解带来了挑战.而采用深度神经网络进行求解已经成为一个前沿的研究方向.本文设计了一种能够求解正线性约束组合优化问题的非自回归式神经网络.本文方法的优势在于,正线性约束代表了一大类组合优化问题,突破了现有非自回归网络的通用性瓶颈;与目前常用的自回归网络相比,非自回归网络具有高效性、排列不变性等优势;在神经网络框架中,本文采用的离线无监督学习对标注的需求低,无需求解最优解进行监督训练;本文提出的在线可微分搜索方法显著提升了神经网络求解器的泛化能力.本文在设施布局、最大集合覆盖、旅行商问题等代表性的组合优化问题中验证了非自回归求解器的有效性.特别是在综合考虑求解效率和求解效果时,非自回归网络求解器持平甚至超越了SCIP, Gurobi等开源或者商用的主流传统求解软件.

关键词 组合优化; 深度学习; 非自回归网络; 图神经网络; 梯度优化; combinatorial optimization; deep learning; non-autoregressive neural network; graph neural network; gradient-based optimization

摘要 基于图的多视图聚类算法通过探索样本点之间的邻近关系,受到了广泛的关注.尽管在实际应用中已经取得了较好的聚类性能,但是观察到大多数算法只是利用一阶邻近关系去构建相似图,这导致信息探索不足和多视图数据表征能力下降.为了解决这个挑战,本文提出了一种新颖的基于高阶图融合的多视图聚类算法(high-order graph fusion for multi-view clustering, HCDMC).具体地,所提出的算法通过一种新颖的隐式权重学习策略,从每个视图对应的一阶和二阶邻近图中学习相应的高阶图.引入希尔伯特–施密特(Hilbert-Schmidt)独立性准则作为一种差异性正则化项,旨在加强一致性高阶图的互补信息.最后,对学习到的一致性高阶图施加连通性约束,直接得到聚类标签矩阵,无需任何后处理步骤.使用交替方向乘子法去解决模型的优化问题.在6个真实的数据集上进行了一系列的实验,相较于最新的算法,本文提出的算法具有更好的聚类性能.

关键词 多视图聚类; 高阶图; 图结构学习; 图融合; 差异性正则化; multi-view clustering; high-order graph; graph structure learning; graph fusion; diversity regularization

摘要 以GPT-4为代表的AI大模型时代正加速而至,深刻改变着社会生活的方方面面.大模型巨参数深度学习是破解复杂大数据智能学习瓶颈的一种有效途径.大模型在展现出强大学习能力的同时也面临着高能耗、大算力挑战.研究表明,平均一个AI大模型训练产生的能耗约等于五辆汽车一生排放的碳总量,驱动AI大模型所需算力每3.5个月翻一番.作为一种有益的补充,内嵌规律的跨尺度系统学习是破解复杂大数据智能学习瓶颈的另一种有效途径.跨尺度系统学习已经在某些专业领域展现出了巨大的成功,如2021年诺贝尔物理学奖授予复杂物理系统跨尺度建模及其在全球气候变暖中的应用.事实上,我国科学家甚至更早开拓了复杂系统跨尺度学习研究,如北京航空航天大学暗物质大数据分析团队利用跨尺度系统学习方法实现了在PB级数据中实时学习KB级关键数据,精度达到万分之一.本文从微观尺度、介观尺度和宏观尺度上分析了跨尺度系统学习的基本原理,构建了内嵌规律跨尺度系统学习的普适方法,并以社会大数据为例开展了典型应用示范.社会大数据跨尺度系统学习应用于疫情防控、舆情分析等领域,并取得显著成效,为我国社会治理数字化、网络化、智能化发展提供了新的成功样本.

关键词 人工智能; 大模型; 跨尺度系统学习; 社会大数据; 可解释性; artificial intelligence; large models; cross-scale systematic learning; social big data; interpretability

摘要 近年来,物理信息神经网络(physics-informed neural networks, PINNs)在求解非线性偏微分方程(partial differential equations, PDEs)中得到了大量应用. PINN将物理信息作为正则化约束加入神经网络损失函数,可以减少传统神经网络方法对训练数据的大量依赖.然而, PINN无法根据数据变化动态调整损失函数中各个损失项的权重,导致其在求解非线性PDEs时存在求解误差较大的问题.为此,本文提出了一种动态平衡物理信息神经网络(dynamic balanced PINN, DBPINN).首先,DBPINN为PINN损失函数的各个损失项设计了一种动态权重系数,并使用随机函数对该系数进行动态更新,能够显著提升PINN的精度.其次, DBPINN为PNNN损失函数的各个损失项之间建立了一种平衡求和方法,该方法考虑了所有损失项之间的竞争关系,使得PINN各损失项朝着有利于收敛的方向进行优化. DBPINN通过动态权重系数和平衡求和方法使得PINN可以更好地进行优化,进而解决了PINN在实际应用中求解误差较大的问题.本文选择了科学机器学习领域中4个经典的非线性PDEs对DBPINN进行了数值验证和分析.实验结果表明,相比于PINN, DBPINN在Schrodinger和Allen-Cahn方程上误差分别降低了46%和64%. DBPINN在求解Navier-Stokes方程时将系数λ1和λ2的误差分别降低了1～2个数量级和约50%. DBPINN在KdV方程中能够在多项系数中将误差降低1个数量级.最后,本文在多种形式的Burgers方程和Allen-Cahn方程上进行性能和参数消融验证,结果表明DBPINN不仅能够提升模型性能、处理小数据量以及拟合不同时间状态下的方程的能力,而且DBPINN相比于PINN具有更好的稳定性、准确率以及收敛性. DBPINN可以取代PINN被应用于各种非线性PDEs的高精度求解.

关键词 物理信息神经网络; 非线性偏微分方程; 动态权重系数; 平衡求和方法; 科学机器学习; physics-informed neural networks; nonlinear partial differential equations; dynamic weight coefficients; balanced summation method; scientific machine learning

摘要 人工智能技术作为试图研究、模仿、扩展人类智能的科学研究领域,自诞生以来就伴随着深刻的技术伦理争辩.随着近年来机器学习等相关工作的突破性进展和快速落地应用,伦理问题日趋显著并迫使学界和社会开始直面该技术的伦理治理挑战.尽管在伦理治理的规范研究上已取得初步进展,其治理实践落地方面依然困难重重,伦理实践表现出逐渐落后于技术发展需求的趋势.因此,建立与不断发展的人工智能技术相互匹配的伦理治理实践方案,实现治理理论和治理实践的良性互动将是人工智能领域未来发展的关键问题.伦理治理理论的抽象性导致了当下人工智能伦理原则难以落地实现,人工智能伦理计算(AI ethical computation)将是应对这一挑战的重要方案.本研究通过探讨现实必要性和发展可能性明确了伦理计算的重要意义,在相关研究基础上给出伦理计算的研究范畴,依据计算过程对伦理机理的认知程度和系统伦理决策的自主化程度进行划分,建立了伦理计算的高阶认知与低阶认知两类研究范式,并按其计算阶段抽象出伦理度量、伦理决策和伦理推理3个计算层次.该伦理计算框架能够对当前的伦理计算应用进行梳理,本文以伦理嵌入和公平机器学习为例说明了两类研究范式的研究特点和技术方法.在此基础上,进一步讨论构建了以伦理计算为核心的伦理治理体系,分析通过伦理计算化解伦理治理困境的可能方案,并对人工智能伦理计算的发展做出展望.

关键词 人工智能; 伦理问题; 伦理治理; 伦理计算; 伦理嵌入; 公平机器学习; artificial intelligence; ethics issues; ethical governance; ethical computation; ethical embedding; fair machine learning

摘要 高阶关联广泛存在于现实世界中,如社交网络、生物网络、交通网络等,建模及优化高阶关联对于网络属性研究和演化趋势预测具有重要意义.超图是一种灵活的数据结构,能够自然地建模高阶关联.近年来,随着深度学习的发展,基于超图建模的超图神经网络被广泛应用于面向高阶关联的表示学习.然而,现有的超图神经网络均基于直推学习范式,虽然在小规模超图数据集上取得了不错的效果,但难以应用到大规模数据上,限制了其应用范围.本文首先分析了现有超图神经网络方法在大规模数据上应用的挑战,然后针对该问题提出了面向大规模数据的高效超图神经网络方法 (efficient hypergraph neural network, EHGNN).针对现有方法空间、时间复杂度过高的问题, EHGNN分别设计了超图采样模块和基于单阶段超图卷积的计算加速模块,同时降低了超图神经网络的空间开销和时间开销,使得超图神经网络适用于大规模超图数据,显著增强了可扩展性.在4个真实超图数据集上的实验结果验证了EHGNN的有效性和高效性.

关键词 超图计算; 超图神经网络; 高阶关联; 大规模数据; 节点分类; hypergraph computation; hypergraph neural network; high-order correlation; large-scale data; vertex classification

摘要 随着数据量爆炸式增长、计算资源愈加丰富,浅层神经网络并不总能满足时代需求,从而导致深度神经网络的出现.深度神经网络的迅猛发展主要体现在应用领域,其理论研究相对匮乏.基于此,本文聚焦研究深度ReLU神经网络的万有一致性,具体内容包括:首先,是否存在一个具有统一结构的深度神经网络(即深度、宽度、激活函数等均已确定)使得该深度神经网络可以学习更多特征,并具有万有逼近性;其次,针对已确定的深度神经网络模型,证明其是强万有一致的;最后,从实验的角度验证理论结果的合理性.

关键词 深度神经网络; 万有一致性; 深度学习; ReLU 函数; 逼近性; deep neural networks; universal consistency; deep learning; ReLU function; approximation

摘要 半监督学习旨在数据标注缺乏的情形下利用无标注数据提升学习性能,是重要的机器学习范式.尽管不少研究报道表明半监督学习取得了优异的性能表现,然而其在面临诸多实践任务时仍存在伪标注质量判断困难、超参数选择敏感、理论指导缺乏等瓶颈.针对上述挑战,本文提出一种稳健选择伪标注的混合式半监督学习方法,通过综合利用模型预测结果之间的分歧自适应地判断伪标注质量,无需预设超参数,显著提升了半监督学习的稳健性.本文在理论上证明了新方法的错误率随训练轮数的增加而显著下降.实验验证了本文方法较主流技术取得了明显的性能提升,例如,相较于在CIFAR-10数据集中表现最优的半监督学习技术FixMatch,新方法的分类错误率下降了11%以上,在更具挑战的STL-10数据集中分类错误率下降了18.8%.

关键词 机器学习; 深度学习; 半监督学习; 伪标注; 稳健性; machine learning; deep learning; semi-supervised learning; pseudo-label; robust

摘要 近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些年,移动众包和网络爬虫这类经济廉价的数据收集方法被广泛采用,但他们不可避免地引入了错误标注,即标签噪声.鉴于深度神经网络强大的数据拟合能力,标签噪声的存在将造成算法的过拟合,严重制约了深度学习方法的泛化能力.针对标签噪声问题,现有研究大多显式或隐式地依赖锚点(明确属于某一类别的样本),然而在现实场景中锚点难以获取,这使得现有解决方案不再适用.为解决这一问题,本文创造性地将多类别标签噪声学习问题转化为混合比例估计(mixture proportion estimation, MPE)问题,构建了一种不依赖锚点的满足统计一致性的学习算法.本文的主要贡献包括:(1)对现有的仅适用于二组成物MPE场景的R-MPE(regrouping-MPE)方法进行推广,提出了多组成物场景下不依赖不可约假设的MPE方法 MR-MPE(multi-component oriented R-MPE);(2)理论上证明了多类别分类场景下标签噪声学习算法锚点假设和MPE问题不可约假设的等价性,并基于所提出的MR-MPE方法构建了不依赖锚点的满足统计一致性的算法.本文在合成噪声数据集和真实噪声数据集上分别与现有算法进行了对比实验,结果显示本文所提算法在多个数据集上均展现出了最优的性能;同时,在移除锚点的情况下,本文对算法的鲁棒性进行了测试,验证了所提算法不依赖锚点的特性.

关键词 混合比例估计; 多类别分类; 标签噪声学习; 锚点; 不可约假设; 统计一致性; mixture proportion estimation; multi-class classification; label-noise learning; anchor point; irreducible assumption; statistical consistency

摘要 决策树模型具有较强的可解释性,是随机森林、深度森林等机器学习方法的基础.如何选择节点的分割属性与分割值是决策树算法的关键问题,对树的泛化能力、深度、平衡程度等重要性能产生影响.传统属性选择准则的定义大多基于凹函数,使得决策树算法存在多值偏向问题,即倾向于选择取值种类多的属性作为节点分割属性.已有研究表明缓解随机一致性的评价准则能够降低分类偏差与类簇个数偏向.本文将基于标准化框架缓解基尼指数的随机一致性,以此缓解其多值偏向问题.通过人造数据集验证,标准基尼指数能够缓解基尼指数的多值偏向问题,并且选择出具有决策信息的属性.通过12个基准数据集与两个图像数据集的实验验证,基于标准基尼指数的决策树算法比现有缓解多值偏向的决策树算法具有较高的泛化性能.

关键词 基尼指数; 多值偏向; 决策树; 随机一致性; Gini index; bias to multi-value; decision tree; random consistency

摘要 当前面向标签噪声的鲁棒性学习通常依赖样本选择和标签修正两种策略,但是这两类方法均存在缺陷.基于样本选择的方法忽略了被过滤掉的样本中的有效信息,进而降低了模型的性能.基于标签修正的方法常使用自标签技术而引起模型的错误积累问题.对此,本文提出了一个集成样本选择、标签修正的联合训练框架.针对样本选择模块,本文设计了一种新的选择标准,通过在线选择的方法对所挑选的样本集合进行更新.相较于现有选择标准,本文提出的标准可保留更多边界样本,提升了模型对决策边界的学习性能,增强了模型的泛化性能.针对标签修正模块,本文提出了一种联合标签修正策略.相比于传统的自标签修正技术,该模块通过联合特征空间视角,对噪声样本进行多视角的标签修正,解决了传统自标签技术的错误累积问题.此外,本文引入对比学习正则化项,提升了标签修正效果和模型表征学习能力.本文方法在4个测试基准上取得了当前最好分类效果,验证了所提训练框架的有效性.

关键词 标签噪声学习; 样本选择; 标签修正; 对比学习; learning with noisy labels; sample selection; label correction; contrastive learning

摘要 因果效应定量描述变量间的影响作用,在许多现实任务中发挥着重要作用.辨识因果效应需要依赖已知的因果关系.一种确定因果关系的主流方法是引入干预信息,即通过人为干预某些因素而获取的信息.鉴于实际干预通常会带来巨大的成本,本文提出利用易于获取的专家知识替代干预,通过设计形如“在XX干预下,目标变量的值相较不干预时增大还是减小?”的问题并向专家咨询,确定因果关系,进而辨识因果效应.尽管每次专家返回的信息量少于干预信息,但通过一定次数的咨询,本文方法可以达到与使用干预信息方法相近的因果效应辨识效果.实验验证了上述结论.

关键词 因果效应辨识; 因果关系; 人机交互; 专家知识; causal effect identification; causal relation; human-in-the-loop; expert knowledge

摘要 与传统多类分类相比,多维分类中每个对象仍由一个示例(特征向量)表示,但同时与多个类别变量相关联,各类别变量基于异构类别空间刻画对象的语义.降维可以有效地缓解维度灾难并加速模型训练,已有多维分类研究均关注于设计性能更好的学习算法,尚未出现面向多维分类数据降维方面的工作.本文基于特征空间和语义空间的相关性,首次面向多维分类数据设计了一种名为SDeM的监督式线性降维方法.该方法使用Hilbert-Schmidt独立判据衡量两个空间的相关性,通过最大化投影特征空间与语义空间在该度量下的相关性确定投影矩阵.实验结果表明,相比于无监督式降维方法,SDeM所得降维特征更有利于多维分类方法取得更好的泛化性能.

关键词 机器学习; 多维分类; 降维; 空间相关性; Hilbert-Schmidt独立准则; machine learning; multi-dimensional classification; dimensionality reduction; dependence between spaces; Hilbert-Schmidt independence criterion

摘要 异常检测旨在发掘数据中异于寻常的模式,它在金融欺诈以及网络入侵检测等领域有着广泛的应用前景.本文主要研究了如何在结构复杂的图数据中进行异常检测,这涉及到挖掘异常的图结构信息以及节点属性信息.现有大部分工作通常采用一个两步的框架,即先对结构复杂的图数据进行表征学习生成图表征向量,然后再将该向量用于下游异常检测任务.由于分开训练的图表征学习任务与下游异常检测任务存在一定的语义鸿沟,这导致现有方法无法有效地挖掘出图中潜在的异常模式.因此,我们提出了一种基于自监督的端到端图数据异常检测框架SGAD,它可以有效地捕获图数据的语义信息并用于异常检测.具体来说, SGAD对无标签图数据进行了一系列变换用于构建自监督辅助任务,然后该自监督任务的输出结果可以直接用于异常检测.我们在多个公开数据集上进行了大量实验,实验结果表明本文提出的SGAD与现有方法相比获得了显著的效果提升.

关键词 图结构数据; 异常检测; 自监督学习; 图神经网络; 图表征学习; graph-structured data; anomaly detection; self-supervised learning; graph neural network; graph representation learning

摘要 联邦跨模态检索利用分散的客户端学习一个共享跨模态检索模型,从而降低集中大规模多模态训练数据时高昂的维护成本,解决分布式数据存储场景下跨模态检索中存在的数据隐私问题.然而现有的联邦跨模态检索方法大多依赖于大量的语义标注,这限制了检索模型在大规模应用场景下的扩展性.与之不同,本文提出一种无监督的联邦跨模态哈希检索模型,旨在保护客户端数据隐私的前提下,学习不依赖语义标注的跨模态检索模型.由于联邦环境中多模态数据分布不平衡,局部信息不足以让模型学习到整体数据上的模态间相似性,从而影响检索性能.为解决此问题,本文提出一个全局–局部模态间对比正则化方法,通过使用不同模态的全局哈希模型对单个模态的局部哈希模型进行约束,使局部哈希模型能够充分感知整体数据的相似性语义,从而加强对本地跨模态哈希学习过程的引导.同时,本文引入一种全局–局部模态内知识蒸馏策略来进一步地获取模态内特有的全局知识.5个基准跨模态检索数据集上的实验结果验证了本文提出方法的有效性.

关键词 联邦学习; 多模态学习; 无监督学习; 跨模态检索; 无监督跨模态哈希; federated learning; multimodal learning; unsupervised learning; cross-modal retrieval; unsupervised cross-modal Hashing

摘要 为了建模多维时间序列(multivariate time series, MTS)中复杂的时序依赖性与随机性,并实现对它的无监督异常检测这一工业机器或互联网基础设施设备质量管理中的关键任务,本文提出了一种堆叠式对抗变分循环神经网络(stacked adversarial variational recurrent neural network, SaVRNN).SaVRNN是一个层次化概率动态模型,它将层次化概率生成模型、堆叠式循环结构和多层对抗优化方式整合到一个联合贝叶斯框架下.具体来说, SaVRNN核心思想是利用堆叠循环结构捕捉多层次与长距离的时序相关性,利用层次化的概率生成操作建模多层的结构特性,进而实现对多维时间序列正常模式的学习,最后通过重构的概率来判断异常模式.为了实现模型的高效推理,本文创新性地提出了一种向上–向下对抗变分推理方案,实现对隐层变量后验的准确估计.针对多层对抗网络中难以实现生成器与判别器的更新平衡导致的SaVRNN训练困难的问题,本文基于条件传输(conditional transport,CT)提出了一个新的优化方法.最后,基于Sa VRNN的层次化结构,本文将多层似然进行融合以改进传统的异常检测策略.在两个公共数据集和一个实测数据集上显示所提方法在F1-score指标上实现了相比目前主流方法的更优性能,证明了所提模型在时间序列在线异常检测任务上的有效性.

关键词 异常检测; 多维时间序列; 对抗变分贝叶斯; 变分循环神经网络; 条件传输; anomaly detection; multivariate time series; adversarial variational Bayesian; variational RNN; conditional transport

摘要 区域同位模式挖掘(RCPM, regional co-location pattern mining)是为了发掘某个局部区域内存在的同位(co-location)模式,以发现在全局中无法发现的信息.传统的区域挖掘大多会采用明确界限的几何体框定同位模式产生的区域.但是现实中的各类区域可能是无明确边界的.另外,数据的分布情况作为区域的重要特征之一,也应该成为区域选择的因素.基于上述思考,本文引入密度峰值聚类(DPC, density peak-based clustering),提出新的密度度量函数,并结合模糊集理论与k近邻距离,设计了一个行之有效的并行区域同位模式挖掘算法.实验结果表明,利用本文方法挖掘到的结果更具有现实意义,并且并行化极大地提升了挖掘算法的效率.在真实数据上, 2线程下的加速比达到了1.89.

关键词 空间数据挖掘; 区域同位模式; 模糊密度峰值聚类; 并行算法; k近邻; spatial data mining; regional co-location pattern; fuzzy density peak clustering; parallel algorithm; k-nearest neighbor;

摘要 朴素贝叶斯由于其简单、高效和有效性成为十大数据挖掘算法之一.然而它要求的属性条件独立假设在实际应用中很难成立.为了削弱其属性条件独立假设,学者们提出了结构扩展、属性选择、属性加权、实例选择、实例加权5类改进方法.现有改进方法虽然在一定程度上降低了模型的偏差,但同时也提高了模型的方差,因而限制了模型的泛化性能.偏差–方差权衡是机器学习的核心原则之一,该原则要求模型具有较低偏差的同时,方差也要尽量低.如何在贝叶斯分类学习中引入偏差–方差权衡,同时获得较低的偏差和方差,从而进一步提升模型的泛化性能,是本文关注的重点.为此,本文首先理论分析了在贝叶斯分类学习中做偏差–方差权衡的可行性,探讨了保证可行性的关键因素;然后通过构建回归任务来学习贝叶斯分类模型的后验概率损失,调控关键因素的变化;最后提出了一种基于偏差–方差权衡的贝叶斯分类学习框架,并在提出的学习框架下重新实现了朴素贝叶斯及其各类改进模型.在大量经典的UCI标准数据集上的实验结果表明,现有的各类先进的贝叶斯分类模型在本文所提学习框架下的分类性能显著优于其原始性能.

关键词 朴素贝叶斯; 属性条件独立假设; 偏差 – 方差权衡; 后验概率损失; 学习框架; naive Bayes; attribute conditional independence assumption; bias–variance trade-off; posterior probability loss; learning framework;

摘要 深度神经网络(deep neural networks, DNNs)能否取得令人满意的性能很大程度上依赖于其神经网络架构.研究人员提出神经网络架构搜索(neural architecture search, NAS)来自动搜索神经网络的最优架构,现有的工作大多使用每秒浮点运算次数(floating point operations per second, FLOPs)来评价神经网络架构的实际效率,但是FLOPs和实际延迟并不是完全一致的.随着任务变得越来越复杂以及越来越多的硬件平台开始运行基于深度神经网络的算法,为硬件平台搜索高效的神经网络架构已成为亟待解决的难题.为了解决这一问题,本文提出了硬件感知的搜索空间构造方法,并借助考虑架构推断延迟的搜索策略,来搜索最优的神经网络架构.本文在可变换神经网络架构搜索方法(transformable architecture search, TAS)和图神经网络架构搜索方法 (graph neural architecture search, GraphNAS)上应用了该方法,提出了硬件可感知的可变换神经网络架构搜索方法 (hardwareaware transformable architecture search, HTAS)和硬件感知的图神经网络架构搜索方法 (hardwareaware graph neural architecture search, HGNAS).相比于现有方法,本文所提出的这两种算法在多种数据集上均针对不同类型目标硬件搜索出了更加高效的深度神经网络架构,从而证明了该方法的有效性.

关键词 深度学习; 神经网络架构搜索; 可变换神经网络架构搜索; 图神经网络架构搜索; 硬件感知; deep learning; neural architecture search; transformable architecture search; graph neural architecture search; hardware-aware;

摘要 模型剪枝被广泛应用于深度神经网络(deep neural network, DNN)的压缩与加速,为资源受限的终端设备部署DNN提供了技术支持.然而以往的剪枝研究缺乏对卷积核效力机制的有效评估,同时忽视了压缩空间中多种不可控因素的潜在干扰.因此本文提出一种卷积效力评价机制驱动的DNN全局剪枝方法,在特征图信息丰富度的基础上,以可视化的方式评估卷积核的效力值,优化了卷积核选择机制.同时探索了压缩空间中卷积结构的效力相关性,并在不同卷积层中使用不同的剪枝标准.首先,本文通过离散傅里叶变换(discrete Fourier transform, DFT)对特征图的信息度进行定量分析,并提出一种评估卷积核效力值的数据驱动方法.然后,基于卷积结构的相关性,引入损失因子以度量剪枝过程中剩余压缩单元的效力损失.最后根据层索引值的变化,在不同结构的功能层中自适应修正剪枝标准.实验表明,相比于最新的剪枝策略,本文的剪枝方法具有更佳的压缩性能和模型优化能力.

关键词 深度神经网络压缩; 模型剪枝; 重要度评估; 损失因子; 特征图信息度; deep neural network compression; model pruning; significance evaluation; loss factor; informativeness of feature map;

摘要 社交媒体谣言以极低的成本在互联网中被快速扩散,给社会带来显著的负面影响.传统的谣言检测模型主要考虑传播模式、写作风格、用户信用和世界知识等信息.然而,谣言的传播模式通常难以被捕捉,写作风格却容易被模仿,由元数据(如职业、家乡、学历、年龄等)构成的用户信息也容易被伪造.本文提出了一种新颖的知识驱动的图卷积神经网络谣言检测模型.该模型首先将社交媒体文本表示成一种语义–实体无向图结构,其中节点包含原社交媒体文本中的词语,利用世界知识库扩展的实体词语,以及利用语言知识库扩展的语义词语,边包含三类节点的6种有效组合.该语义–实体图可以有效地增强任意两种节点的共现性,从而丰富了原社交媒体文本的表示,从一定程度上缓解数据稀疏共现问题.语言知识利用了HowNet (义原和同义词)以及WordNet (上义词、下义词和同义词)分别对中英文社交媒体文本的主题词进行扩充.并成功地将语言知识和实体知识通过图卷积神经网络框架有效集成.在4个国际基准中英文谣言语料库上的实验结果和可视化分析表明了本文模型的有效性.

关键词 语言知识; 世界知识; 主题模型; 图卷积神经网络; 谣言检测; language knowledge; world knowledge; topic model; graph convolutional neural networks; rumor detection;

摘要 认知健康是大脑健康的重要组成部分,与个体全生命周期的正常发展密切相关.目前,非受限普适场景下的认知能力评估已成为实现认知障碍相关疾病早期预警的重要途径.然而,在医疗、家庭等不同计算场景下,因感知设备、认知评估流程等的不同,往往存在不同场景间评估模型相互适用难的问题.针对以上跨场景认知能力评估挑战,本文提出了一种参数自适应的细粒度迁移学习方法 PAFG-TL.PAFG-TL基于随机森林模型实现,通过参数自适应的个体分类器评估策略和领域自适应的决策树生长机制实现参数无关的个体分类器聚类评估和决策树细粒度进化生长.通过在临床认知评估和公开基准数据集上进行实验验证,证明了PAFG-TL方法在跨场景认知能力评估中的有效性.

关键词 参数自适应; 细粒度; 迁移学习; 跨场景; 认知能力评估; parameter adapative; fine-grained; transfer learning; cross-scenario; cognitive ability assessment;

摘要 联邦学习是一种多设备参与的,保护数据隐私的深度学习技术.它能够在私有数据不出本地的同时训练全局共享模型.然而,在复杂的物联网环境中,联邦学习面临着统计异构性和系统异构性的挑战.不同的本地数据分布和高额的通信计算成本,使得过参数化的模型不适合在物联网应用中直接部署.同时,非独立同分布的数据也使采用参数平均聚合的联邦学习更加难以收敛.联邦学习场景下的研究难点在于,如何根据私有数据为每个客户端建立个性化的轻量级模型的同时,把这些模型汇总成为联合模型.为了解决这一问题,本文提出了一种基于进化策略的自适应联邦学习算法.该方法将模型结构进行编码,把每个参与者视作进化策略中的个体,通过全局优化来为每个客户端自适应地生成不同的个性化子模型.客户端根据网络单元重要性和编码在服务器端超网中抽取相应的子网来进行本地更新,而这种网络局部更新的方法天然契合dropout的思想.在真实数据集上进行的大量实验证明,本文提出的框架相比于经典的联邦学习方法,模型性能得到了显著改善.在客户端数据非独立同分布的情况下,该算法在有效降低了客户端在通信带宽和计算力受限条件下参与联邦学习门槛的同时,提高了全局模型的泛化能力.

关键词 联邦学习; 进化策略; 模型编码; 网络剪枝; 本地个性化; federated learning; evolution strategy; model encoding; network pruning; local customization;

关键词 多视图属性网络; 异常检测; 图卷积网络; 自编码器; multi-view attributed networks; anomaly detection; graph convolution network; autoencoder

摘要 工业物联网数据管理与数字中国基础设施建设紧密相关,是支撑提取工业大数据价值的基础.由于工业物联网数据源于设备,工业物联网数据管理系统面临着数据量、数据到达速度、负载多样性等更严峻的大数据挑战.为了应对这些挑战,工业物联网数据管理系统必须进行负载均衡,以充分利用可扩展的计算资源、提升系统性能.现有的负载均衡方法未能充分利用工业物联网数据典型的时序特性,无法应对工业物联网数据管理的上述挑战.本文针对工业物联网数据的时序特性,以读写差异化均衡为约束,建模了负载均衡最优化问题,以匹配工业物联网数据的读写分离特性;提出了负载均衡方案TsLBOpt,集成了简化系统架构的非侵入式负载统计与估算方法,利用分片细分与自适应复制以扩充解空间的整数规划最优化求解方法,以及基于贪心策略最小化数据迁移代价的数据重分布方法.TsLBOpt在清华大学获日内瓦国际发明展金奖的开源时序数据管理系统IginX中进行了实现,并基于多容器构建的集群系统开展了大量实验,结果表明,本文提出的TsLBOpt相比常用的哈希方法、经典的启发式热数据迁移法、前沿工作DynaHash分别可提升系统整体性能至2倍、10倍、4倍以上,且可有效应用于资源异构、组件异构的异构集群系统中.

关键词 工业物联网; 物联网数据管理; 负载均衡; 性能最优化; 时序数据; industrial Internet-of-Things; IoT data management; load balancing; performance optimization; time series data

摘要 会话推荐的目标是仅根据用户在匿名会话中有限的交互行为,来预测用户的下一次点击行为.最近几年,许多基于图神经网络的会话推荐方法取得了可喜的结果.然而,这些方法仍然存在不足之处.一方面,基于图神经网络的方法只考虑物品之间的转换模式,忽略了会话中的序列模式.另一方面,现有的大多数方法都只关注当前会话内部的信息,忽略了来自邻居会话的外部协作信息,即上下文模式.为了解决上述问题,本文提出了一种新颖的基于上下文增强的多级注意力会话推荐模型(CEMA),通过多级注意力机制分别在物品级和会话级这两个粒度上学习物品特征和建模用户偏好,以增强模型的个性化推荐能力. CEMA模型利用多层GraphSAGE来学习物品之间复杂的转换模式,以捕获用户的局部偏好.特别地,在CEMA模型中设计了一种物品级注意力机制,通过门控注意力单元计算会话中不同物品的重要性,以识别用户真正感兴趣的物品,避免噪声物品的干扰.这有助于准确地捕获会话的序列模式,以建模用户的全局偏好.此外,所提出的方法还设计了一种会话级注意力机制,通过简单的软注意力高效地计算不同会话之间的相似度,以聚焦于那些与当前会话最相似的邻居会话,并从中提取上下文模式,以帮助预测用户的下一次点击.本文在3个公开的基准数据集上进行了一系列实验,实验结果表明CEMA的推荐性能超过了现有最好的方法,充分验证了CEMA的有效性和优越性.

关键词 会话推荐; 多级注意力机制; 图神经网络; 序列模式; 上下文模式; session-based recommendation; multi-level attention mechanism; graph neural network; sequential patterns; contextual patterns

摘要 动态图作为图的一个重要分支,对节点间关系的动态变化过程具有良好的表达能力.利用动态图对实际关系网络进行建模,并动态预测未来时刻节点间的链路关系成为当前研究热点.然而,由于弱关系现象的存在,加权网络中的动态链路预测面临着重大挑战.针对这一问题,本文提出了一种基于正则化流的方法 DynWFlow (dynamic weight flow).该方法能够从生成角度出发,自适应地评价节点间链路信息的重要性,从而精准地进行链路特征的抽取,有效地解决了动态链路预测问题.特别地,对于弱关系情况,提出利用邻居节点集权重的相似程度来评估不同链接关系的重要程度,实现对节点间隐含关系的进一步捕获.在多个领域大量真实数据的实验结果表明,所提出的基于正则化流的动态链路预测方法 DynWFlow的性能明显优于其他预测算法.

关键词 动态链路预测; 正则化流; 动态图; 时空表示; 图嵌入; dynamic link prediction; normalizing flow; dynamic graphs; spatial-temporal representation; graph embedding

关键词 机器学习; 药物相互作用; 多层次; 图神经网络; 端到端; machine learning; drug-drug interaction; hierarchical; graph neural network; end-to-end

摘要 蛋白质–蛋白质相互作用对于理解细胞生命活动至关重要.预测链间残基距离为分析蛋白质–蛋白质相互作用以及柔性、动态和超大规模蛋白质复合物结构建模提供了关键信息.现有的链间残基距离预测方法主要关注于链间信息,忽略了结构域间信息.本文基于自构建的链间结构域–结构域相互作用数据集,提出了一种蛋白质复合物链间残基距离深度学习预测方法 (distances prediction of inter-chain, DPIC).首先,针对输入的单体序列,分别构建单体序列的多序列比对和复合物序列的配对多序列比对,并使用AlphaFold2预测单体结构;其次,构建序列特征、多序列比对特征和结构特征,设计了一个集成多列卷积神经网络模块和三角相互作用模块的深度学习网络,实现对蛋白质复合物链间残基距离的高精度预测;最后, CASP13-15二聚体测试集上的实验结果表明, DPIC的链间残基接触预测精度优于主流方法 DeepInter和CDPred,其中Top L/10精度分别提升了7.87%和13.74%.大型蛋白质复合物结构建模实验结果表明, DPIC预测的链间残基距离有助于大型蛋白质复合物结构组装.DPIC在线服务器网址:http://zhanglab-bioinf.com/DPIC.

关键词 蛋白质-蛋白质相互作用; 蛋白质复合物; 链间残基距离预测; 结构域间相互作用; 深度学习; protein-protein interaction; protein complex; inter-chain residue-residue distances prediction; inter-domain interaction; deep learning

摘要 目前,许多基于深度学习和神经网络的算法被应用于脑电(electroencephalogram, EEG)信号情感识别.然而,现有研究大多采用提取单维脑电信号特征的方法.随着多传感技术的更新,更具全面性和系统性的多维信号特征提取需求出现.本文尝试将复杂网络研究应用到多维情感脑电识别中,提出一种基于水平可视图多元联合模体熵的情感识别算法,该方法可以有效避免人工选取特征对实验结果的影响,保持原始序列的非线性动力学特征.首先利用水平可视图算法将多维情感脑电信号分别转换为多路可视图网络,提取模体熵特征识别情感脑电研究中的关键频带和关键通道.在此基础上,将水平可视图网络两两联合,提取多元水平联合模体熵向量,作为输入参数对情感脑电信号进行识别.由于情感脑电序列长度会对识别效果产生影响,我们将脑电信号切割成大小不一的窗口,对比不同窗口大小对分类准确率的影响.实验结果表明,当切割窗口大小为10 s时,多元水平联合模体熵对情感脑电信号的识别效果最佳,对积极脑电/消极脑电、积极脑电/中性脑电、消极脑电/中性脑电的分类准确率分别达到95.07%, 97.73%, 90.26%,优于其他二维连接参数.同时,三分类的准确率为93.67%,本文算法无论在识别复杂度和准确率上,与已有算法相比均有较大提高.

关键词 EEG; 多路水平可视图; 多元联合模体熵; 情感识别; 多维分析; multiplex horizontal visibility graph; multivariate joint motif entropy; emotional recognition; multivariate analysis

摘要 越来越多的证据表明,环状RNA (circular RNA, circRNA)在人类复杂疾病发病机制和许多重要生物学过程中发挥不可或缺的作用.确定环状RNA与疾病之间关联对于复杂人类疾病的诊断和治疗具有重要的潜在价值.然而,传统的湿实验方式通常是盲目、低效、耗时且昂贵的,往往还伴随着高的假阳性率.因此,迫切需要有效和可行的计算方法来大规模预测潜在的环状RNA–疾病关联.本文通过结合图神经网络的高阶图卷积网络算法与随机蕨分类器对环状RNA与疾病之间的关联关系进行预测.该方法能够从环状RNA和疾病多种属性信息构建的多源相似性网络中,有效抽取具有高阶混合邻域信息的高级特征,并对其进行准确分类.在5折交叉验证实验中,该方法在CircR2Disease数据集上取得了93.75%的AUC得分.此外,在案例研究中,该模型的预测结果得到了生物湿实验的支持,预测得分前15的环状RNA–疾病关联中的13个在最近发表文献中得以证实.这些优异的结果表明,所提模型是预测环状RNA–疾病关联的有效工具,并且可以为生物湿实验提供理论依据和高可信的环状RNA候选生物标志物.

关键词 环状RNA; 图神经网络; 环状RNA–疾病关联; 高阶图卷积网络; 随机蕨; circRNA; graph neural network; circRNA-disease association; high-order graph convolutional network; random ferns

摘要 从大规模生物组学数据中准确识别导致癌症发生的协同驱动模块是生物信息学研究领域重大课题之一.现有研究方法通常只基于批量组学数据进行识别,忽视了细胞水平上的癌症异质性,易受噪声影响.针对上述问题,本文提出了一种基于单细胞数据和先验知识指导的协同驱动模块识别方法CDMFinder.该方法首先利用基因在不同亚型及正常细胞表达数据间存在的特异性共表达信息,融合基因交互网络,优化形成分子功能关联网络,在深入挖掘基因间功能关联的同时有效降低网络复杂度;再基于重叠马尔可夫(Markov)聚类从该网络中挖掘功能簇,并提出基于融合权重和贪心策略的驱动模块识别方法,从功能簇中获得驱动模块集合;最后,融合功能交互网络与突变共现定义模块距离函数,识别获取协同驱动模块. CDMFinder充分融合评估了表达、突变、差异分析等多种因素,展现了优良的识别性能.在乳腺癌和胶质母细胞瘤多组学数据上的实验结果表明,本文方法能够识别出超过对比方法 1.35倍的驱动基因,识别到的协同驱动模块在功能/通路水平富集度上超过现有算法1.5倍.

关键词 单细胞数据; 协同驱动模块; 分子功能关联网络; 马尔可夫聚类; 多组学数据融合; single-cell data; cooperative driver module; molecular functional association network; Markov clustering; multi-omics data fusion;

摘要 目前,基于激光雷达的高效3D物体检测框架在利用物体关系方面存在不足,然而这些关系在空间和时间维度上是自然存在的.受此启发,本文提出了一种以物体关系为启发的简单高效的二阶段检测器Ret3D.该方法的核心在于利用本文所提出的帧内关系模块和帧间关系模块,以捕捉空间和时间维度上的关系.具体来说,帧内关系模块将当前帧的物体封装为稀疏图,通过高效的信息传递来优化物体特征.另一方面,帧间关系模块动态地密集连接每个物体与其跟踪序列中的其他物体,并利用这种时间信息,通过轻量级的Transformer网络进一步增强其特征表达能力.本文在通用的中心基或锚点基检测器的基础上实现了Ret3D,并在Waymo公开数据集上进行了评估. Ret3D在额外开销几乎可以忽略不计的情况下,取得了最佳性能,在车辆位置检测的一级和二级难度下的mAPH (mean average precision with heading)指标上分别比近期最强的著名方法高出2.9%和3.2%.

关键词 3D物体检测; 物体关系; 自动驾驶; 3D object detection; object relations; autonomous driving

关键词 共身智能; 人工智能; 视角整合; 双脑融合; 人机共身; cobodied/symbodied AI; artificial intelligence; dual-perspective integration; dual-brain fusion; human-machine co-embodiment

关键词 图像取证; 伪造检测; 生成模型; 生成图像; 迁移学习; 视觉语言模型; image forensics; forgery detection; generative models; generated images; transfer learning; vision-language model

关键词 可持续; 自监督学习; 预训练; 图像掩码建模; sustainable; self-supervised learning; pretraining; mask image modeling

摘要 视频目标分割旨在自动分割视频中感兴趣的目标,在视频编辑、机器人导航以及自动驾驶等领域均有着广泛的应用前景.现有的视频目标分割方法大多依赖于独立帧表观记忆,这在处理严重遮挡或表观相似的复杂视频场景时常显不足.为应对这些挑战,本文提出了一种基于逐帧和逐段时空交互记忆网络(frame-wise and segment-wise spatio-temporal interaction memory, FSSTIM)的视频目标分割方法. FSSTIM引入逐帧和逐段时空交互记忆构建模块,通过构建时空上下文图网络提取逐段时空记忆特征图,并与逐帧记忆特征图进行交互增强,显著提高了网络处理相似表观和目标遮挡的能力.此外,引入动态采样记忆读取器实现了高效的多粒度历史信息读取,加快了推理速度并提高了分割精度.在DAVIS, YouTube-VOS和MOSE主流视频目标分割数据集上的实验表明,本文方法在保持实时处理速度的同时取得了先进的分割性能,且具有较强的泛化能力.

关键词 视频目标分割; 逐帧和逐段时空交互; 记忆网络; 时空上下文关联网络; 动态采样记忆读取; video object segmentation; frame-wise and segment-wise spatio-temporal interaction; memory network; spatio-temporal context correlation network; dynamic sampling memory reading

摘要 随着深度伪造技术的快速发展,深度伪造视频在每一帧上表现得极为真实,现有检测方法难以有效识别出深度伪造视频.针对这一问题,本文首次提出了一种基于视频流谱特征空间的深度伪造检测方法.该方法基于流谱理论构建了一个视频流谱特征空间,通过视频流谱基底模型将视频流从视频特征隐空间映射到视频流谱特征空间,精准刻画视频流中不一致性信息,获取可分离度更高的视频流谱不一致性特征,从而实现深度伪造视频的检测.具体而言,首先提出了一种视频流谱特征空间的构建方法,通过对视频特征隐空间进行基底映射,得到一个近似同构的视频流谱特征描述空间,在视频流谱特征空间中融合视频流不同视角的高维表征,实现对视频流的精准刻画与分析;然后设计了一个视频不一致性流谱映射模型,通过视频流谱变换算子,从时序角度将视频流的空域信息聚合映射到视频流谱特征空间,建模深度伪造视频的不一致性信息,构建数据可分离度更高的视频表征.实验结果表明,所提方法在Celeb-DF数据集上达到99.23%的准确率,在DFDC数据集上达到95.24%的准确率.

关键词 深度伪造检测; 流谱理论; 视频流谱特征空间; 视频流谱基底模型; 时序不一致性; deepfake detection; flow spectrum theory; video flow spectrum feature space; video flow spectrum basis model; temporal inconsistency

摘要 可微神经结构搜索(differentiable neural architecture search, DNAS)作为近年来神经结构搜索的主流方法之一,通过结合基于梯度优化的搜索策略能够有效地搜索网络结构.然而,存在结构搜索稳定性差和模型复杂度高的问题.为了解决这两个问题,本文提出了一种结构范数正则化的可微神经结构搜索算法,提高了结构搜索的稳定性;设计了一种冗余边剪枝算法修剪网络结构中的冗余边,降低了最终模型的复杂度.本文在CIFAR10, CIFAR100, miniImageNet和胎儿心脏标准平面分类(fetal heart standard plane, FHSP)等4个数据集上进行了算法性能对比实验,与一系列当前最新的可微神经结构搜索算法相比,取得了最优的综合性能.

关键词 深度学习; 可微神经结构搜索; 剪枝; 正则化; 高效搜索网络结构; deep learning; differentiable neural architecture search; pruning; regularization; efficiently search network structures

摘要 大模型驱动的具身智能是涵盖人工智能、机器人学和认知科学的交叉领域,重点研究如何将大模型的感知、推理和逻辑思维能力与具身智能相结合,提升现有模仿学习、强化学习、模型预测控制等具身智能框架的数据效率和泛化能力.近年来,随着大模型能力的不断提升,以及具身智能中示教数据、仿真平台、任务集合的不断完善,大模型和具身智能的结合将成为人工智能的下一个浪潮,有望成为人工智能迈向实体机器人的重要突破口.本文围绕大模型驱动的具身智能这一研究领域,从3个方面进行了系统的调研、分析和展望.首先,回顾了大模型和具身智能的相关技术背景,以及具身智能现有的学习框架.其次,按照大模型赋能具身智能的方式,将现有研究分为大模型驱动的环境感知、大模型驱动的任务规划、大模型驱动的基础策略、大模型驱动的奖励函数、大模型驱动的数据生成等5类范式.最后,总结了大模型驱动的具身智能中存在的挑战,对可行的技术路线进行展望,为相关研究人员提供参考,进一步推动国家人工智能发展战略.

关键词 具身智能; 大模型; 环境感知; 任务规划; 基础策略; embodied AI; large-scale models; environment perception; task planning; foundation policy

摘要 图像不仅承载着丰富的视觉内容,同时还蕴含潜在的高级语义,是重要的信息传递媒介.度量图像信息量则是对图像信息进行定性描述和定量计算的抽象过程,属于对图像处理领域中的科学问题进行理论构建的关键环节.然而,在现有的研究工作中,虽然对“图像信息量”的度量有所提及,但实际上关注的往往是在图像质量或图像特征的层级,而忽略了图像所具有的高级语义以及人对图像的认知.因此,为了衡量图像的信息提供价值,本文基于“图像信息量因人、因任务而异”这一常识,通过建模“先验知识”相关的图像记忆并提取“给定任务”相关的图像特征,尝试对图像信息量进行度量.首先,提出图像信息量度量的理论框架,具体表现为:在“能够获得全世界所有的图像”和“能找到一种能够准确表达图像语义的特征”两个假设条件下,以信息论为基础,通过构建超球来描述样本点的邻域稠密度,由此建模语义信息的概率,进而得到理论假设条件下的图像信息量.其次,探讨了理论假设无法满足的实际情况,将“全世界所有的图像”这一假设条件退化为“给定具体的数据集”,并将“一种能够准确表达图像语义的特征”这一假设退化为“给定任务相关的特征”,进一步通过实验展示了在实际情况下如何有效获得图像信息量的数值结果.最后,指出了本文度量方法的限定对象和度量结果的边界,并展望了未来对相关体系进行丰富和完善的可行方向.

关键词 图像信息量; 信息量度量; 信容; 信息论; 图像处理; image information; information measurement; information capacity; information theory; image processing

摘要 机器学习结合逻辑推理的方法可以大幅提升模型的鲁棒性与可解释性.近年来,已有工作从给定的具体知识库出发,通过反绎学习的范式或是其衍生范式来促进机器学习中模型的更新过程.然而,在表示学习任务中,即便存在这样的知识库,其往往也是不完备或含有噪声的.且在真实环境下,即便领域专家也无法精准定量地描述不同对象的属性表示信息.因此,本文针对半监督表示学习任务,提出了一种可根据少量有标记样本构建弱领域属性知识库并结合无标记数据与基于启发式规则扩张领域知识库推理的反绎学习方法.该方法可有效解决表示学习任务下缺少强领域知识与真实环境下高质量标注数据较少这两个问题.在人工合成的数据集与真实环境下的数据集中的实验对比结果均验证了我们提出的方法的有效性.

关键词 人工智能; 机器学习; 反绎学习; 半监督学习; 特征表示; 细粒度属性; artificial intelligence; machine learning; abductive learning; semi-supervised learning; feature representation; fine-grained attributes

摘要 基于视觉的连续手语识别旨在从图像序列中识别出对应的手语词序列,可以为手语使用者提供一种便利的辅助工具.现有的连续手语识别方法大多需要从图像序列中,逐帧提取视觉和时序特征,而相邻帧中存在的相似视觉信息带来了大量的冗余计算.本文通过分析帧率对连续手语识别算法的影响,发现降低帧率可以显著地提升计算效率,但也会带来一定的性能损失.为了在降低帧率的同时保留更多手语关键信息,本文提出了自适应动态池化层(adaptive dynamic temporal pooling, ADTP),ADTP基于序列特征的自相似性对序列进行动态下采样.在此基础上,本文进一步提出了一种两阶段的训练方式,以更充分地利用原始帧率中的时空信息.具体而言,该训练方式在第一阶段只训练基于原始帧率的手语识别模型,并以此模型为教师网络,通过知识蒸馏的方式引导第二阶段含ADTP模块的模型训练.实验结果表明,本文所提的方法在损失少量性能的情况下,可以大幅度减少识别所需的计算量.此外,本文所提出的ADTP也可用于手语视频结构分析,生成简略直观的手语视频摘要.

关键词 连续手语识别; 时间序列分析; 视觉语言; 知识蒸馏; 计算效率; continuous sign language recognition; time series analysis; visual languages; knowledge distillation; computational efficiency

摘要 信任在人–机器人–数字人协作中扮演着关键角色,因为它不仅影响了人–机器人–数字人的效率,同时也存在风险和益处.然而,当前的人–机器人–数字人信任研究存在“失衡”现象,即大部分研究集中于“以人为中心”的信任关系而忽略了智能体(机器人和数字人)对人的信任.为了填补人–机器人–数字人信任研究领域的这一空白,在使用多模态信号来建立人–机器人–数字人交互中的适度单向信任基础上,构建跨虚实世界的“三位一体”经历交融共享生态.本文旨在探讨多模态线索和增强现实在建立人–机器人–数字人之间可信关系方面的现有研究、可行性和未来发展方向.最后,本文展望了该模式在社会组织形态及社会事件态势感知和管控中的应用前景,并指出了未来需要解决的问题.本文的研究有助于理解多模态线索和增强现实在人–机器人–数字人交互中的作用,并为“三位一体”趋势的实现提供思路和解决方案.

关键词 增强现实; 多模态交互; 人-机器人-数字人交互; 信任; augmented reality; multimodal interaction; human-robot-digital human interaction; trust

摘要 在计算机与网络基础设施不断发展的推动下,越来越多的人类活动从物理世界向数字世界迁移,产生了构建新型虚实融合网络空间的动因和思想,增强现实、数字孪生、元宇宙等相继成为国际关注热点.虚实融合网络以互联网、物联网为基础,进一步将具有独立身份的计算机、各种物理对象及其数字孪生,以及计算机生成的数字原生对象进行互联,将物理世界和人类世界与数字世界贯通,成为“泛联网”,形成人、机、物泛联互通的虚实融合网络空间,带来全新的大众体验、社交形态、生产模式和数字经济发展路径.这种新型网络空间极大地拓展了互联网、物联网的空间边界和应用领域,同时也带来了新的安全与隐私保护问题.本文首先介绍了泛联网与虚实融合网络空间的概念及架构,分析其存在的安全与隐私风险,然后从用户认证与权限控制、数据安全、隐私保护、感知与交互安全、关键基础设施与软硬件安全、应用安全与网络空间治理等方面的国际研究现状和发展趋势进行综述,最后给出需要解决的十个问题.

关键词 虚实融合网络空间; 泛联网; 数字孪生; 安全; 隐私; virtual-real mixing cyberspace; Pervasive Internet; digital twins; security; privacy

摘要 本文针对当前指代视频目标分割方法缺乏目标时空一致性建模和目标时空表征学习不足等问题,进行了深入的研究,提出了基于时空层级查询的指代视频目标分割方法 (STHQ).本文将指代视频目标分割看作基于查询的序列预测问题,并提出两级查询机制进行目标的时空一致性建模和时空特征学习.在第1阶段,本文提出了帧级空间信息提取模块,该模块使用语言特征作为查询独立地和视频序列中的每一帧在空间维度进行信息交互,生成包含目标空间信息的实例嵌入;在第2阶段,本文提出时空信息聚合模块,该模块使用视频级的可学习查询嵌入和第1阶段生成的实例嵌入在时空维度进行信息交互,生成具有时空表征信息的视频级实例嵌入;最后,视频级实例嵌入线性变换为条件卷积参数,并和视频序列中的每一帧进行卷积操作,生成目标的掩码预测序列.在该领域的3个基准数据集上的实验结果表明,本文提出的STHQ方法超越了现有的方法,实现了最佳的性能.

关键词 指代视频目标分割; 时空一致性建模; 时空特征学习; 跨模态特征交互; Transformer; referring video object segmentation; spatio-temporal consistency modeling; spatio-temporal feature learning; cross-modal feature interaction

摘要 本文致力于设计一个有效且高效的伪装物体分割(camouflaged object segmentation, COS)模型.为此,本文开发了一个生物启发的框架,称为金字塔定位和聚焦网络(pyramid positioning and focus network, PFNet+),其模仿了自然界中的捕食过程.具体地,本文的PFNet+包含3个关键模块,即上下文增强模块(context enrichment, CEn)、金字塔定位模块(pyramid positioning module, PPM)和聚焦模块(focus module, FM). CEn通过整合上下文信息来增强骨干特征的表征能力,从而提供更有辨别性的骨干特征. PPM模仿捕食中的检测过程,以金字塔的方式从全局的角度定位潜在的目标物体.然后FM执行捕食中的识别过程,通过在歧义区域的聚焦逐步细化初始的预测结果.值得注意的是,在FM中,本文开发了一个新颖的分心挖掘策略,用于分心区域的发现和去除,以提高预测的性能.大量的实验证明本文的PFNet+能够实时运行(56 fps),在4个标准度量指标下, PFNet+在3个具有挑战性的数据集上都显著优于现有的20个最新模型,在其他视觉任务(如息肉分割)上的实验进一步证明了PFNet+的泛化能力.

关键词 伪装物体; 分心; 上下文增强; 上下文探索; 金字塔; 分割; camouflaged object; distraction; context enrichment; context exploration; pyramid; segmentation

摘要 近年来,图像生成技术取得了令人瞩目的发展,目前的图像生成方法大多以像素填充的方式生成图像,缺乏艺术家逐笔绘制的过程,使其在局部笔触细节与纹理上与真实艺术作品有所不同.神经绘画致力于模仿人类艺术家以画笔为单位,逐笔绘制的作画过程.现有的神经绘画方法大多使用贝塞尔曲线或者笔触模板进行仿射变换来模拟真实笔触.然而,贝塞尔曲线纹理的缺乏以及仿射变换的线性性质,导致生成的笔触在纹理或者形状上存在较大的限制.为了更好地模拟真实笔触的纹理与形状,本文提出了新的基于薄板样条插值的弯曲笔触参数模型,通过对真实笔触模板先后进行弯曲与仿射变换,可以生成更加真实、多样的笔触图像.此外,本文提出了层次化的笔触优化方法,将整幅图像分解为由大到小的多个笔触,能够有效提升模型对图像整体架构与局部细节的绘画能力.最后,本文将提出的方法拓展至风格迁移中,实现了较好的风格迁移效果.定性与定量的实验表明,本文所提出的新的笔触模型与优化方法在神经绘画及风格化任务中都超越了已有的最佳模型.

关键词 神经绘画; 薄板样条插值; 弯曲笔触; 层次优化; 风格迁移; neural painting; thin plate spline; curved stroke; layer optimization; style transfer

摘要 随着无人机以及激光雷达在测绘领域的大规模应用,大量的城市场景稠密三维网格模型被生产出来,对其进行建筑物单体分割与结构化重建是计算机图形学领域极具挑战性的研究问题.本文对此提出了一种城区场景建筑物单体分割与结构化重建耦合处理的方法.首先,本文基于马尔可夫(Markov)随机场从场景中提取建筑物轮廓;然后,基于提取出的建筑物轮廓以及人造建筑竖直方向的规则性,引入了一种新的建筑物结构化模型——多层轮廓模型;最后,设计了一个自顶向下的城区场景建筑物单体分割与结构化重建耦合处理的并行系统,该系统能够高效地处理大规模城区场景.实验结果表明,本文方法生成的结构化模型最高实现了厘米级的精度.

关键词 建筑物单体分割; 结构重建; 耦合处理; 城市场景理解; 马尔可夫随机场; building instance segmentation; structural reconstruction; coupled processing; urban scene understanding; Markov random field

摘要 基于骨架数据的细粒度人体动作识别是一项重要的研究课题,但未被充分解决.由于骨架数据缺乏视觉表观信息,相似类别的人体动作很难被现有的深度网络模型识别.在这项工作中,我们提出了一个新型的运动显著性探测器(motion salience prober, MSP),并引入了配对学习(motion salience prober-incorporated pairwise-learning, MSP-PL)框架,以实现细粒度的骨架动作识别.我们的MSP-PL框架在构造成对的相似骨架运动样本基础上(查询样本与探测样本),利用运动显著性学习机制,促进编码器学习精细化的运动特征.其核心模块MSP可以在我们设计的探测样本和损失函数的帮助下,增强查询样本的显著性运动特征,并消除冗余的噪声.本文设计了3种探测样本构造策略来生成查询–探测样本对,辅助模型识别查询样本的动作,并测试了它们对模型性能的影响.在NTU-RGB+D120数据集与Kinetics-Skeleton数据集上的大量实验表明,我们的MSP-PL框架是通用的,大多数骨架特征编码器可以无缝嵌入其中,并显著提高其准确性. 5个主流的编码器对精细化动作的平均分类准确率提高了2.4%以上.此外,我们的MSP-PL框架在与最新的编码器相结合时,在骨架动作识别方面达到了最先进的性能.

关键词 骨架动作识别; 细粒度动作识别; 视觉注意力; 运动显著性学习; 对比学习; skeleton action recognition; ne-grained action recognition; visual attention; motion salience learning; contrastive learning

摘要 说话人视频的情感编辑是计算机视觉和图形学当前研究热点之一,其目的是将一段中性情感的人物说话视频转为带有目标情感的说话视频.已有的方法难以同时兼顾高清晰度情感编辑、人脸三维属性的保持以及模型对不同目标人物的适用性.为同时满足上述要求,本文提出基于Basel人脸模型(Basel face model, BFM)条件的几何编辑网络作为几何情感编辑模块,保证了几何编辑在不同目标人物场景下的通用性;提出了基于人物分类器的纹理情感编辑模块,使得精细纹理的编辑可以迁移到多人任务之中,突破了以往情感编辑模型仅适用特定目标人物或适用多人模型生成质量不高的局限性.本文提出的模型可以实现连续控制情感编辑强度的效果.实验结果表明,本文提出的通用情感编辑模型在多人任务上的清晰度、人物保真度、情感编辑质量等各项指标均优于已有可适用于多人情感编辑的方法,并且在训练集中未出现的目标人物上也能实现自然的情感编辑,甚至在未见的人脸位姿的说话视频中也能获得合理的结果.

关键词 情感编辑; 三维重建; 深度学习; 计算机视觉; 神经网络; emotional editing; 3D reconstruction; deep learning; computer vision; neural network

摘要 有向目标检测是计算机视觉中的一个研究热点,在遥感、场景文字等领域具有广泛应用.大长宽比、密集排列以及任意方向等问题是该领域目标检测面临的主要挑战.本文提出了一种基于单阶段检测方法的级联有向检测器R~3DetGauss,采用一种从粗到细的渐进式回归方法快速准确地定位目标.考虑到级联检测器中存在的特征不对齐的问题,本文设计了一个特征精修模块(feature refinement module, FRM),能够获得更准确的特征,从而提高检测性能. FRM通过逐像素特征插值将当前精修后的边界框的位置信息重新编码到对应的特征点,进而实现特征的重构和对齐.本文还采用了具有尺度不变性的归一化高斯Wasserstein距离作为回归损失来进一步提高估计边界框的质量.此外,本文基于该距离提出了长宽比感知的自适应样本采样策略,提高了样本分配的质量.在多个公开的图像数据集上的大量实验结果表明,所提出的R~3DetGauss检测器在多种数据集上均能够进一步提升精度,并最终达到当前先进检测水平.相关代码在国产深度学习Jittor框架、PyTorch和TensorFlow中均进行了开源发布.

关键词 有向目标检测; 计算机视觉; 特征精修模块; 分布距离; 标签分配; 回归损失; oriented object detection; computer vision; feature refinement module; distribution distance; label assignment; regression loss

摘要 非接触式的多人三维动作捕捉技术在影视动画、游戏、虚实互动、体育运动和生物医学分析等领域有着广泛的应用.现有的国内外相关论文多数聚焦在算法创新,而缺少整体视角下的系统分析与构建.为此,本文提出了一种非约束环境下的轻量级多人三维动作捕捉系统,该系统便于组装,仅需少量的(4～6个)普通相机或摄像头,并且适用于一般的室内外环境,对场景中的背景和人物对象的着装没有特殊要求.首先,为了提升三维人体动作捕捉的精度,设计并实现了一个鲁棒的基于多视图的多人三维姿态估计算法,它充分利用了多视角的信息互补,并引入了一个跨帧连贯性约束来过滤异常的二维人体关节点检测结果以抑制其对三维人体姿态估计的影响.其次,围绕多视图数据的实时采集与传输及其有效处理,构建了一套轻量级的硬件系统,同时提出了一种数据流向可控的模块化并行处理机制,最终实现了一个灵活、易维护扩充且高效的软硬件系统框架.最后,基于多个公开数据集与自采数据集,通过大量实验,充分验证了本文所提出算法与系统的准确性、高效性和鲁棒性.

关键词 动作捕捉; 非接触式动捕; 实时动捕; 多人三维姿态估计; 跨视角姿态关联; motion capture; markerless motion capture; realtime motion capture; multi-person 3D pose estimation; cross-view pose association

摘要 光流估计是计算机视觉的核心任务.近年来,基于卷积神经网络的光流估计方法已取得很大成功,然而由于现有模型的卷积感受野有限,难以建模远距离的依赖关系,导致在大位移和局部歧义性区域的光流估计效果较差.此外,现有方法在光流上采样过程采用的插值操作会导致误差的传播放大,进而引起光流估计的运动边缘模糊等问题.针对以上问题,本文提出了一种基于局部–全局建模与视觉相似引导上采样的光流估计方法.首先,引入一个高效且简单的自注意力机制加强光流计算网络的局部和全局建模能力.通过提取更具有表达力的图像特征,降低因大位移和局部歧义性导致的光流估计误差问题.其次,基于物体视觉特征越相似,运动也越相似的假设,构建视觉相似引导的光流上采样网络模型.将特征的视觉相似性转化为运动的相似性进而指导光流上采样过程,提高了运动边界区域光流估计的精度.最后,分别采用MPI-Sintel和KITTI数据库测试图像集对本文方法和最先进的深度学习光流计算方法进行综合对比分析.实验结果表明,本文方法在所有对比方法中取得了最优的光流计算结果,尤其在大位移和运动边界区域显著提升了光流计算的精度.

关键词 光流估计; 卷积神经网络; 自注意力; 上采样; 视觉相似引导; optical flow estimation; convolutional neural networks; self-attention; upsampling; visual similarity guidance

摘要 随着人工智能技术的高速发展,计算机视觉与图形学等相关学科的交叉融合掀起了一场数字人生成技术的新革命,人类进入“元宇宙”等数字空间的梦想正逐渐变为现实.面对大规模三维数字人的生产需求,传统图形学建模方法建模过程繁琐,周期冗长,阻碍了虚拟数字人的普及和应用,而利用生成式人工智能技术产生高拟真、规模化的虚拟数字人正逐渐成为研究热点.为了深入了解三维数字人技术的研究现状与挑战,本文从生成式模型的视角对数字人技术进行了系统性梳理,并总结了其中的3个关键步骤:表示、渲染与学习.随后,对显式及隐式的表示方法进行总结,对传统渲染与神经网络渲染的成像方式进行归纳,并概括了相应的模型学习方法.最后,本文对三维数字人的典型应用进行分析,并对当前挑战与未来发展方向进行总结和展望.

关键词 三维数字人; 生成模型; 隐式表示; 神经渲染; 对抗学习; 3D digital human; generative model; implicit representation; neural rendering; adversarial learning

摘要 作为图像处理领域的热点技术,图像翻译可将图像由源域迁移至目标域,实现图像风格的转换.然而,在诸如真实人脸与卡通人脸、街道实景与街景分割图等图像翻译应用中,源域与目标域间往往存在巨大差距,域间的冗余信息和不一致特征会增加转换的难度,降低转换质量.本文提出对齐遗忘机制并设计多个损失函数,通过构建简易高效的信息不平衡图像翻译算法框架,实现了域编码与域解码.具体地,在将源域和目标域信息对齐映射至共享语义空间后,本文在对齐遗忘机制中使用互信息(mutual information)删除域间不一致特征,同时保留相同特征.实验结果表明,本文方法可有效剔除冗余信息,提高域间信息一致性.此外,本文在多个代表性信息不平衡图像数据集上验证了新算法较已有算法的优越性.

关键词 图像处理; 图像翻译; 生成对抗网络; 不平衡信息; 注意力机制; image processing; image-to-image translation; generative adversarial networks; imbalanced information; attention mechanism;

摘要 事件相机是一种用脉冲表达信息的仿生成像传感器,具有高时域分辨率、高动态范围、低功耗和高速率等优势.由于事件驱动特性,传统人工神经网络(artificial neural networks, ANN)无法直接处理事件相机输出的脉冲信号.而脉冲神经网络(spiking neural network, SNN)作为一种神经形态计算方法,具有高时域分辨率及事件驱动的特性,这与事件相机高度契合.但是,深层脉冲神经网络需要消耗大量存储空间以及神经元计算资源,严重限制了其在边缘计算场景的部署.本文基于特征维度映射原理,提出面向嵌入式系统的轻量化脉冲神经网络,降低存储需求、提高运行效率并提高网络性能.首先,通过分析网络参数量与网络拟合功能间的关系,明确了约束脉冲神经网络能力的参数瓶颈问题.随后,基于低维特征提取–融合策略提出一种通用轻量化特征提取结构SpikeFire,该模块在保证感受野和特征维度等基本性质不变的前提下大幅减少了网络参数.此外,模拟脑神经元复杂连接特性,模块中采用跳层连接,这既增加多尺度信息提取又有助于深层次网络的优化.最后,将本文所提轻量化网络部署在嵌入式硬件中,开发出了事件驱动的成像识别一体化系统.实验表明,无论是在公开数据集还是自建真实场景和极端成像场景中,所提方法在保证识别性能的前提下大幅减少了参数量并提高运行速度.

关键词 脉冲神经网络; 事件相机; 轻量化网络; 特征融合; 嵌入式硬件; spiking neural network; event camera; lightweight network; feature fusion; embedded hardware;

摘要 自主地探索未知室内场景并同时构建地图,是机器人完成许多应用任务的必备前提.基于深度强化学习的方法通过与环境交互的方式,让机器人学会利用室内场景的结构规律,因而有希望获得更加高效和鲁棒的探索策略.现有的方法通常直接控制机器人的运动,导致较长的决策序列,并需要大量的训练样本;或者间接指定长期目标点,却难以保证其可以到达,因而也阻碍了训练的进行.针对这些问题,提出了一种基于经验增强的自主场景探索方法以加速策略的训练并生成更加高效的探索目标.首先引入off-policy的强化学习算法和经验回放缓存机制;然后利用全局探索策略指定长期目标点;接着利用增量启发式寻路算法生成前往目标点的无碰撞路径;在此基础上对每一条探索路径分段并评估子路径的奖励,从而改进已有经验;最后利用时序差分误差对经验进行过滤,并加入经验回放缓存中.该方法能从原本失败的经验中推导出正确的行为,并生成易于到达的长期目标点.实验结果表明,本文方法不仅能明显加速全局探索策略的训练,还能提升训练后系统的整体性能.

关键词 自主场景探索; 深度强化学习; 经验增强; 路径规划; autonomous scene exploration; deep reinforcement learning; experience enhancement; path planning;

摘要 小样本学习作为计算机视觉的新兴研究热点,旨在通过少量的已知样本实现对全新概念的快速识别和理解.现有的小样本学习技术只针对给定的新类别物体进行分类和识别,忽略了旧有基础类别的表示和区分.针对小样本增量学习问题中的类间可区分性差、增量类别难泛化两大研究难点,本文引入局部关系学习的思想,提出局部关系泛化表征的模型学习方法.为确保增量过程中的类别可区分性,本文首先使用局部空间关联约束增量表征能力,在此基础上,使用特征重映射方法将查询向量与支撑集映射在同一度量空间,有效确保了微小差异的可区分性.同时,为缓解增量过程中样本不足导致的归纳偏置问题,本文提出空间泛化式原型生成算法,利用分布特性快速生成虚拟原型,促进样本的有效表征.在此基础上,本文利用元学习训练方法,提出了局部泛化联合的增量学习框架,通过联合基础类别的局部表征和增量类别的快速泛化约束,有效缓解了灾难性遗忘和表征不足的困难,实验证明本方法在经典小样本增量任务中取得了当前最好的性能表现.

关键词 小样本学习; 增量学习; 局部关系; 泛化表征; 元学习; few-shot learning; incremental learning; local relationship; generalized representation; meta learning;

摘要 模型窃取攻击旨在获得一个和目标受害模型功能相似的替代模型.现有的方法主要采用数据生成或数据选择方法和交叉熵损失函数去获得一个较好的攻击效果.据此,本文着重研究了攻击过程中这两个极为重要的模块:数据采样和损失函数.同时,本文提出了一个新颖的模型窃取攻击方法S&W,其包含了一种新的采样策略和一个精心设计的加权损失函数.首先,新的采样策略更加关注于从受害者模型中获得更多信息的重要样本.与此同时,本文通过引入k-Center算法达到选择样本的多样性的目的.其次,受到经典Focal损失函数的启发,本文设计了一种新的加权损失函数.该损失函数主要关注于受害者模型和替代模型对于相同输入所给出的输出之间的差异,从而促使替代模型模拟受害者模型.在4个常用的数据集上,我们通过实验证明了本文提出的方法的有效性.相比于之前最好的方法,本文方法最高有5.03%的性能提升.

关键词 计算机视觉; 模型窃取攻击; 对抗攻击; 主动学习; 知识蒸馏; computer vision; model stealing attack; adversarial attack; active learning; knowledge distillation;

摘要 近年来生成对抗网络(generative adversarial network, GAN)已经展示了它在图像修复任务中修复大面积缺失区域并生成合理语义结果的潜力,但现有方法经常忽略缺失区域的语义一致性和特征连续性,并对不同尺度特征的感知能力不足,因此提出一种基于多尺度稳定场GAN的图像修复模型.该模型的生成单元汲取了U-Net的特点,将稳定场算子嵌入到跳跃连接中以填充编码器特征图中的缺失区域,保持了缺失区域的语义一致性和特征连续性;然后通过多尺度融合计算逐步加强经稳定场算子填充缺失区域的特征图的传递,使得跳跃连接传递的信息不再来自单一的特征图,让模型能够感知高层特征的语义信息.在人脸和自然场景等数据集上的实验结果表明,该模型优于其他的经典图像修复方法.

关键词 图像修复; 生成对抗网络; GAN; 稳定场; 多尺度融合; 深度学习; image inpainting; generative adversarial network; stable field; multi-scale fusion; deep learning;

摘要 高光谱图像超分辨率重建旨在融合高分辨率多光谱图像与低分辨率高光谱图像以得到高分辨率高光谱图像.如何实现二者中空域信息和谱域信息的有效融合是高光谱图像超分辨率重建的关键.受高光谱图像的端元表示模型启发,本文在神经网络中显式地对端元进行建模,并利用其作为纽带实现空域信息和谱域信息的融合.具体来说,本文提出了一个基于Transformer的高光谱图像超分辨率重建网络,利用Transformer结构从低分辨率高光谱图像提取端元信息,并将端元信息融合到高分辨率多光谱图像中,进而完成高分辨率高光谱图像的重建.实验结果表明, Transformer结构的全局感受野增强了网络的长程建模能力,提高了端元提取精度,进而提升了超分辨率重建性能.与已有方法相比,本文所提方法在室内/遥感高光谱数据集上均取得了更优的性能.

关键词 高光谱图像; 图像超分辨率重建; 图像融合; Transformer网络; 端元特征; hyperspectral image; image super-resolution; image fusion; transformer network; endmember feature;

摘要 行人是城市交通场景下的弱势群体,为了避免碰撞,有必要准确地预测他们的动作行为.为此,本文首次提出城市交通场景中行人动作识别这一问题并提出了有针对性的解决方案.首先,我们创建了一个新的行人动作识别数据集(PARD)作为实验的数据基础,并给出了一个有效的基准模型MFVGG,该模型能够以较低的计算成本达到与之前先进人体动作识别方法相当的性能.为了更针对性地解决问题,本文在两个方面对基准模型进行了改进.首先,利用姿态先验来丰富特征表示,构造双流网络融合双分支编码特征.其次,本文引入双流神经架构搜索得到对于这项任务的最优层级网络架构.实验表明,提出的方法的性能超过了一般人体动作识别相关的先进算法.数据集以及代码公布在https://github.com/Yankeegsj/PARD.

关键词 深度学习; 计算机视觉; 动作识别; 网络架构搜索; 姿态估计; deep learning; computer vision; action recognition; neural architecture search; pose estimation;

摘要 视网膜启发的传感器(又称仿视网膜传感器)是近年来新兴的视觉传感器,其通过对场景光强信息进行连续采样,输出高时间分辨率的异步脉冲信号.本文将围绕基于仿视网膜传感器的采样原理进行总结,包括空间对比度传感器、时间对比度传感器、时域积分传感器,以及其他具有附加采样电路的仿视网膜传感器.相对于传统相机,仿视网膜传感器具有高动态范围、高时域分辨率的特征.但是,以1和0 (或-1)形式存储的脉冲信号难以与传统视觉信号兼容.如果把仿视网膜采样看作场景光强的紧凑编码过程,那么视觉信息重建即为视觉信息的解码过程.因此,视觉信息重建可以成为一个连接仿视网膜传感器与传统视觉的桥梁.近年来,出现了一些利用异步脉冲信号进行图像重构的算法,通过对脉冲信号进行一系列处理,可以重构出高时域分辨率的图片.本文综述了仿视网膜传感器的采样原理及分类,总结了目前基于事件相机和脉冲相机的视觉信息重建方法.同时,探讨和展望了仿视网膜采样和视觉信息重建的机遇和挑战,以及可能的发展方向.

关键词 仿视网膜传感器; 仿视网膜采样机制; 神经形态相机; 图像重构; 光流估计; 深度估计; retina-like vision sensor; retina-like visual sampling; neuromorphic camera; image reconstruction; optical flow estimation; depth estimation;

摘要 对抗性攻击是研究深度神经网络脆弱性的前沿技术.然而现有工作大多关注基于加性噪声扰动的攻击,无法代表现实世界中的扰动因素,阻碍了对抗性攻击的实际应用.雾作为现实世界中广泛存在的自然现象,对图像造成显著影响,不可避免地对深度模型构成潜在威胁.本文首次尝试从对抗性攻击的角度研究雾对深度神经网络的影响,并提出两种基于雾扰动的对抗性攻击方法:基于优化的雾扰动对抗性攻击OAdvHaze,在深度神经网络的指引下优化大气散射模型参数,以合成有雾图像,该方法具有较高的攻击成功率.预测式雾扰动对抗性攻击PAdvHaze,采用深度神经网络直接预测雾合成参数,提高了对抗性攻击的速度.本文在ILSVRC 2012和NIPS 2017两个公开数据集上验证了所提出方法的有效性, OAdvHaze和PAdvHaze取得了与最先进攻击方法相当的攻击成功率和可迁移性.该工作将有助于评估和提高深度神经网络对现实世界中潜在雾扰动的鲁棒性.

关键词 对抗性攻击; 图像分类; 雾合成; 深度学习; 图像处理; adversarial attack; image classification; haze synthesis; deep learning; image processing;

摘要 基于图像聚焦信息的三维形貌重建方法通常对微观物体的景深图像序列采用统一的聚焦评价标准,这类重建方法往往会忽视图像序列之间的联系,难以修正图像纹理稀疏或低对比度导致的连续帧深度误差.鉴于三维数据特有的多维度信息关联特性,本文将微观物体的不同景深图像序列视为三维数据,在重建过程中引入全部图像序列之间的关联关系,从三维数据时频变换的视角构造了以多视角分析、稳定性聚类、选择性融合逻辑耦合的微观三维形貌重建框架.首先从理论上分析三维数据相较于传统二维图像处理重建问题的优势,通过构造三维时频变换实现三维数据到不同尺度、区域和方向深度图像之间的映射;然后从增强深度图像特征的角度构建基于多模态纹理特征的局部稳定性聚类算法,实现同质性较好深度图像的自适应选择;最后提出选择性深度图像融合的策略,通过构造层筛过滤平衡树对滤除离散噪声后的多层深度图像进行融合,实现微观物体高精度的三维形貌重建.模拟数据与真实场景数据均验证了本文方法的有效性.三维时频变换视角的智能微观三维重建方法为基于图像聚焦信息的三维形貌重建提供一个崭新的研究视角,在精密制造、亚微米级工业测量等领域具有重要的理论意义和应用价值.

关键词 三维重建; 无监督学习; 稳定性聚类; 深度图像; 时频变换; 3D shape reconstruction; unsupervised learning; locally stable clustering; depth image; time-frequency transformation;

摘要 实时视频流分析在智能监控、智能制造、自动驾驶等场景中具有重要价值,然而其存在计算负载高、带宽需求大和延迟要求严格等特点,难以通过传统的本地计算模式或者云计算模式进行部署.近年兴起的边缘计算范式,将复杂的计算任务从终端设备上传到物理临近的边缘服务器上,能够有效解决设备层面的部署问题.然而,例如无人机编队飞行、车队自动驾驶和多机器人协同等不断涌现的多设备协同场景,新增了系统层面的综合性能要求,包括智能分析的实时准确率、设备之间的性能一致性和系统容纳的设备数量上限.当前的边缘计算范式对多设备协同场景的优化尚显不足,未能有效解决设备之间对上传带宽和服务器算力的竞争问题,所以难以满足这类场景的要求.本文设计了MASSIVE系统,能够在多设备协同场景中,全面提升实时视频分析的综合性能.首先, MASSIVE系统提出了适合多设备协同场景中度量视频流分析系统综合性能的评价体系.其次, MASSIVE系统设计了帕累托改进调度器来计算帕累托最优的系统调度策略,使得系统在3个维度上同时取得了相比已有系统更好的性能表现.最后, MASSIVE设计了虚拟流量整形器来保证各个设备在无线网络中按照调度策略上传视频流数据.实验结果表明, MASSIVE在多种典型的视频分析任务中,相比于当前的代表性系统,至少达到了122.7%的实时准确率、1.8倍的系统容量和更好的系统一致性,并达到了帕累托最优.

关键词 实时视频流分析; 边缘计算; 多设备协同; 多目标优化; 帕累托最优; real-time video analysis; edge computing; multi-agent cooperation; multi-objective optimization; Pareto optimal state;

摘要 颅内容积传导效应导致大量脑电特征之间具有高度相关性,而这些高度相关的脑电特征无法为情感识别提供额外的有用信息,并且会降低基于脑电信号的情感识别效率.为了去除冗余信息和挑选有判别力的脑电特征,本文提出了一种基于正交回归和特征加权的脑电情感特征选择方法.与传统特征选择方法相比,该方法利用正交回归在脑电特征映射空间中保留更多的判别信息,更加适合于非线性和非平稳脑电信号的分析处理.为了验证所提出方法的性能,我们采集了由视频诱发的多通道脑电情感数据,并将所提出方法与4种常用的脑电特征选择方法进行了比较.实验结果证明了本文所提出方法能有效降低脑电特征集内冗余信息,并挑选出具有判别力的脑电特征子集.此外,通过分析由该方法所挑选的脑电特征类型,我们发现中心频率特征是最具判别力的脑电情感特征.该发现将为未来脑电情感特征提取研究提供新的思路.

关键词 脑电; 特征选择; 情感识别; 正交回归; 特征加权; electroencephalogram; feature selection; emotion recognition; orthogonal regression; feature weighting;

摘要 人类利用视觉、听觉等多种感官理解周围环境,通过整合多种感知模态,形成对事件的整体认识.为使机器更好地模仿人类的认知能力,多模态认知计算模拟人类的“联觉”(synaesthesia),探索图像、视频、文本、语音等多模态输入的高效感知与综合理解手段,是人工智能领域的重要研究内容,也是实现“通用人工智能”的关键之一.近年来,随着多模态时空数据的海量爆发和计算能力的快速提升,国内外学者提出了大量方法,以应对日益增长的多样化需求.然而,当前的多模态认知计算仍局限于人类表观能力的模仿,缺乏认知层面的理论依据.本文从信息论角度出发,建立了认知过程的信息传递模型,结合信容(information capacity),提出了多模态认知计算能够提高机器的信息提取能力这一观点,从理论上对多模态认知计算各项任务进行了统一.进而,根据机器对多模态信息的认知模式,从多模态关联、跨模态生成和多模态协同这3个方面对现有方法进行了梳理与总结,系统地分析了其中的关键问题与解决方案.最后,结合当前阶段人工智能的发展特点,重点思考多模态认知计算领域面临的难点与挑战,并对未来发展趋势进行了深入分析与展望.

关键词 人工智能; 多模态; 认知计算; 联觉; 信容; artificial intelligence; multi-modal; cognitive computing; synaesthesia; information capacity;

摘要 多样性公平k-中位问题在数据摘要等对聚类中心选取方式的公平性要求较高的聚类应用领域发挥重要作用.给定一个用户集合、?个设施集合以及正整数k,该问题的目标是在每个设施集合中开设一个规模受限的子集,使得开设设施数量不超过k,且每个用户与距离最近的开设设施之间具有较高的相似度.本文将多样性公平k-中位问题实例映射为低维空间中的小规模实例,并围绕实例中的点划分空间以估计最优解中开设设施的位置.基于这一思路,本文在d-维欧氏空间中为多样性公平k-中位问题提出了时间复杂度为O（nd log n）+2?k+（kε-1）O（1）nO（1）的（1+ε）-近似算法,其中,n为设施与用户数量之和.该结果改进了此前人们在更一般化的度量空间中利用相近的固定参数时间得到的(1+2e-1+ε)-近似比.

关键词 固定参数算法; 近似算法; k-中位问题; 设施选址; 采样; parameterized algorithm; approximation algorithm; k-median; facility location; sampling

摘要 最大独立集问题是计算机科学中最基础且重要的NP完全问题之一.本文研究了超图上最大独立集问题（MISH）和超图上带惩罚的最大独立集问题（PC-MISH）的精确算法.给定一个超图,MISH问题旨在寻找图中最大的独立集,其中,超图中的独立集是一些两两不包含在同一超边的顶点构成的点子集.而PC-MISH问题是MISH问题的松弛化变体.在PC-MISH问题中,仍然寻找一个点集X,但是它允许违背“独立”的性质,也就是说,允许超边包含X中的多个顶点.这个集合X的价值定义为X的大小减去包含至少两个X中的顶点的超边数量.而PC-MISH问题旨在找到一个价值最大的点集.本文研究MISH和PC-MISH问题以n以及l=n+m为参数的精确算法,其中n是超图中顶点的个数,m是超图中超边的条数.通过利用最大独立集问题在一般无向图上的精确算法可以直接得到MISH问题O*(1.1996^n)时间的算法.此外,本文证明了PC-MISH问题可以在O*(1.9548^n)时间内求解,打破了穷举搜索的2^n时间复杂度.进一步,本文重点给出MISH问题一个O(1.1520^l)时间的算法和PC-MISH问题一个O(1.3982^l)时间的算法,分别改进之前时间为O(1.1550^l)和1.5^l2^{o(l)}的精确算法.

关键词 精确算法; 最大独立集问题; 带惩罚最大独立集问题; 超图; 最小子集反馈集问题; exact algorithms; maximum independent set problem; prize-collecting maximum independent set problem; hypergraphs; minimum subset feedback vertex set problem

摘要 图边删除问题中一类重要问题是研究是否可以删除图中不超过k条边之后使得剩余的图不存在某个子图结构H,而子图H为顶点个数不超过4的连通图的情况被研究得最为广泛.本文主要考虑H为Paw图(三角形其中一个顶点再邻接一条边)的情况,称为Paw图–边删除问题,并为该问题设计了一个32k个顶点的问题核.这是该问题的第1个线性顶点大小的问题核.文中主要的技术是结合两个新的皇冠分解的变体来分析图的结构从而对图进行简化.

关键词 图算法; 核心化算法; H-边删除问题; Paw图-边删除问题; 皇冠分解技术; graph algorithms; kernelization; H-edge covering; Paw-edge covering; crown decomposition

摘要 给定度量空间中的一个设施集合与一个带有最低服务级别要求的用户集合,优先k-设施选址问题的目标是开设最多k个设施,在每个开设设施上安置不同级别的服务,并将每个用户连接到一个能满足其服务级别要求的开设设施上,使得设施开设费用、服务安置费用与用户连接费用之和最小.本文利用拉格朗日(Lagrange)松弛技术求解优先k-设施选址问题,针对用户的服务级别要求提出了新的确定化舍入方法,并基于此给出了多项式时间的(7.9533+ε)-近似算法.这是关于该问题的第一个常数近似算法.

关键词 设施选址; 近似算法; 拉格朗日松弛; facility location; approximation algorithms; Lagrangian relaxation

摘要 LinUCB算法是求解上下文多臂老虎机问题的一种典型算法,被广泛应用于新闻投放、产品推荐、医疗资源分配等场景中.目前对该算法的安全性研究略显薄弱,这就要求研究者进一步加深对该算法的攻击方式的研究,以作出具有针对性乃至泛用性的防御措施.本文提出了两种通过添加虚假数据的方式对LinUCB算法进行离线数据投毒攻击的攻击方案,即TCA方案(target context attack)与OCA方案(optimized context attack).前者是基于训练数据与目标上下文的相似性来生成投毒数据的;后者是建模一个优化问题,通过求解该问题来构造投毒数据,是前者的优化版本.实验测试表明,仅需添加少量投毒数据作为攻击成本即可实现对攻击目标的100%攻击成功率.

关键词 上下文多臂老虎机; LinUCB 算法; 数据投毒攻击; 白盒攻击; 优化问题; contextual multi-armed bandit; LinUCB; data poisoning attack; white-box attack; optimization problem

摘要 图神经网络因其在处理非欧几里得空间数据方面的卓越学习和推理能力而备受关注.然而,现实世界中的图结构通常包含顶点之间复杂的高阶关联关系,这类图通常被定义为超图.为了在超图上有效捕获这些高阶复杂特征和潜在语义信息,众多超图神经网络模型被相继提出.尽管目前已有多个利用GPU加速器的高并行计算能力来加速超图神经网络训练的系统软件,但在加速模型训练过程中,这些系统仍面临大量冗余计算和频繁的数据通信问题,导致GPU利用率较低.此外,这些系统仅支持图规模较小的超图神经网络模型训练.针对上述问题,本文发现超图神经网络训练过程中,由于超图中多条超边之间存在较强的拓扑重叠特性,因此这些超边的计算会重复获取和计算相同图顶点的特征向量.基于这一观察,本文提出了一个面向CPU-GPU异构环境的高性能超图神经网络系统(redundancy-elimination hypergraph neural network, RHGNN).该系统充分利用超边间的重叠特性指导超边和顶点特征计算与更新,有效减少CPU-GPU数据通信量.具体而言, RHGNN提出了一种新颖的以超边为中心的冗余消除执行方法,使系统以最优方式完成顶点特征向量的通信加载,实现一次加载服务多次超边和顶点特征计算.同时, RHGNN通过高效的超度感知层次数据缓存机制,在GPU端优先缓存频繁访问的顶点和超边特征向量以及超边中共享顶点的中间结果值,进一步减少数据通信开销.为验证RHGNN的有效性,本文将其与当前最先进的超图神经网络软件系统DGL, PyG以及HyperGef进行了性能对比.实验结果表明,在支持超图神经网络模型训练方面, RHGNN相较于PyG,DGL和HyperGef的性能分别提升了2.5～3.4倍, 2.1～3.1倍和1.4～2.3倍.

关键词 超图神经网络; 训练加速; CPU-GPU异构; 冗余消除; 拓扑相似性; hypergraph graph neural network; training optimization; CPU-GPU heterogeneous environment; redundancy elimination; topology similarity

摘要 检索增强生成(retrieval-augmented generation, RAG)是一种通过诸如近似最近邻搜索(approximate nearest neighbor search, ANNS)等知识检索手段融入外部知识,从而显著提升大型语言模型(large language model, LLM)生成质量的方法.然而,随着外部知识库的不断膨胀, ANNS索引的存储需求也急剧增加,使得海量数据存储在内存中变得不切实际.这进一步促进了基于磁盘的ANNS的发展和应用,但也大大增加了RAG系统的响应时间.为解决这一问题,本文提出了PipeRAG,该系统通过流水线化执行基于磁盘的ANNS检索与LLM的预填充过程,有效地重叠了知识检索和模型推理的延迟,从而在确保检索精度的同时有效提升了RAG系统的整体性能.具体而言, PipeRAG设计了两个核心机制:“ANNS自适应预取机制”和“RAG动态流水线调度策略”,前者能够根据当前的检索状态实时调整预取速度,从而在性能与精度之间取得最佳平衡;后者则综合考虑了ANNS预取速度与LLM分块预填充的延迟,动态地调整预填充任务的大小,以实现最优的流水效率.在实际负载下的广泛评估显示, PipeRAG成功地将基于磁盘的ANNS的RAG系统的响应延迟缩短了25%～71%,同时保持了极低的召回率损失.

关键词 检索增强生成; 近似最近邻搜索; 大语言模型; retrieval-augmented generation; RAG; approximate nearest neighbor search; ANNS; large language model; LLM

摘要 数据的不断增长对云的存储空间、安全、性能等的需求与日俱增.安全去重技术能够有效减少云存储空间需求的同时保障数据去重的安全性.然而,当前主流云安全去重方案依赖于可信第三方来进行密钥安全性保障,这引入了额外的信任假设和密钥管理开销.而两方的去重方案在安全和传输开销方面面临较大挑战.针对该问题,本文提出了一种基于英特尔软件防护扩展（Intel software guard extension, Intel SGX）的云数据安全去重方法,该方法的主要创新在于:（1）设计基于边缘端去重的云边协同安全体系架构,减少了云边之间的传输开销,使用SGX可信执行环境保障了云和边缘端数据和密钥的安全,无需不可信的第三方密钥服务器;（2）提出低开销的密钥安全生成协议,通过云边协同生成密钥,为每个边缘端用户生成唯一的加密密钥,而非为每个数据生成单独的密钥;（3）设计高效的基于标签流行度的标签查询机制.通过计算标签频率,实现冷热标签分离,在提高标签查询效率的同时避免标签误检.安全性理论证明和系统实验测试表明,本文的方案在安全性方面优于最新方法,并大大减少了密钥管理开销和标签查询开销,其中密钥存储开销可节省48.72%98.72%.

关键词 云边协同; 云存储; 安全去重; 英特尔软件防护扩展; 标签流行度; cloud-edge collaboration; cloud storage; secure deduplication; Intel SGX; tag popularity

摘要 物联网的迅猛发展对数据管理提出了诸多挑战,为应对这些挑战并满足管理日益增长数据的切实需求,国家制订了“协同发展云计算与边缘计算”的远景规划.在此背景下,本文提出了一种云边融合安全存储架构,旨在探索物联网数据在云边融合场景下的有效管理途径.该架构利用机密计算、数据缩减、跨域同步等关键技术,支撑数据的高效管理和安全保障.在此基础上,本文进一步提出了一套适应于上述安全存储架构的系统核心设计方案,解决实施过程中的效率问题.此外,本文还探讨了该架构下的未来研究方向,以期为新场景下物联网数据管理提供新视角和解决思路.

关键词 云边融合; 数据缩减; 可信执行环境; 机密计算; 增量同步; cloud-edge integration; data reduction; trusted execution environment; confidential computing; delta synchronization

摘要 传统云或边缘计算模式下,数据的存储、计算和传输分离:终端负责指定具体的计算和关联存储节点,网络仅在这些节点间提供传输路径而并不感知所承载的计算任务.这种模式不仅导致海量异构存算平台难以感知识别彼此的可用资源并形成协同合力、数据存储与计算孤岛化现象严重,还面临拓扑时变、计算节点失效等不确定性导致的任务执行时间长甚至中断等挑战.为此,本文提出一种面向自主计算的存算传融合网络架构,通过构建耦合但差异化管理存算传多维资源的控制面,以及支持形式化计算任务路由和调度的数据面,赋能自主计算的全流程实现.基于所提架构,提出了多维资源状态探测、任务联合调度与服务协同部署方法,实现任务需求拟合与环境适变的高效自主计算.此外,本文还探讨了该架构下的挑战以及可能的未来研究方向.

关键词 自主计算; 存算传融合; 网络架构; automatic computing; caching-computing-communication integration; network architecture

摘要 服务器无感知计算凭借其弹性、高效和低成本的优势已成为下一代云计算的重要组成部分.随着服务器无感知应用的复杂度和多样性的增加,现有服务器无感知计算平台通常将不同应用的函数实例混合部署在统一服务器主机中,并使用统一的CPU调度策略(如Linux完全公平调度)进行调度.由于不同应用对性能、延迟以及调度公平性等的要求都不尽相同,使得单一的全局调度策略,难以满足多样化的调度需求.此外,实验发现,函数实例的执行时间跨度较大,短任务占比高,且冷启动对任务完成时间影响显著.这使得现有调度策略难以兼顾任务的效率与公平性,尤其会增加了短任务的调度延迟.为解决上述问题,我们提出并实现了一种调度隔离机制,允许在同一服务器上为单个或多个应用使用独立的CPU调度策略.此外,我们设计了FaaSchedule,一种新的可定制调度策略,综合考虑函数的执行时间、启动时间和等待时间,并支持根据不同应用需求动态定制调度策略.在OpenWhisk平台上的实验表明, FaaSchedule显著降低了短任务的平均完成时间,并有效支持调度隔离与策略定制.

关键词 CPU调度; 服务器无感知计算; 冷启动; 调度隔离; 定制化内核; CPU scheduling; serverless computing; cold start; scheduling isolation; customized kernel

摘要 泛在计算为人机物融合应用带来了新的可能性,但也面临着异构资源管理、需求多样性和计算资源受限等问题;同时,人工智能模型的快速发展也为智能应用的开发带来了机遇与挑战.为此,本文提出了元级化软件定义的泛在操作系统设计理念,通过引入“软件孪生”技术实现对异构资源的抽象管理,采用“上传下达”的层级结构应对复杂需求的分解,并通过智能原生设计实现对人工智能模型的支持.本文进一步以操作系统智能助手、“天网”监控系统和疾病防控系统3个典型泛在计算应用场景为例,阐述了本文所提出的泛在操作系统设计理念在实践中的优势和潜在价值,预示着智能时代下人机物融合的广泛应用前景.

关键词 泛在计算; 泛在操作系统; 软件工程; ubiquitous computing; ubiquitous operating system; software engineering

摘要 本文聚焦于新型数据流架构在多领域融合计算中的应用潜力与发展趋势.随着人工智能、图计算和大数据等新兴技术的发展,传统冯·诺依曼(von Neumann)架构和领域专用架构的性能瓶颈愈加显著,难以满足未来计算系统对高性能和高灵活性的需求.本文首先梳理了现有数据流芯片的设计方法,基于专用性与通用性、执行粒度等维度探讨了数据流架构的不同实现方式及其应用现状.在此基础上,提出了一种基于并发代码块的数据流抽象机模型,并设计了完整的指令集和微体系结构,进一步实现了跨领域的统一中间表示和多种算子融合策略,优化了数据流在图神经网络、大模型计算和实时信号处理等任务中的执行效率.实验结果表明,基于该抽象机模型的处理器在性能与功耗方面优于现有的通用处理器架构.最终,本文展望了数据流架构在未来计算系统中的广泛应用前景及其对高效能计算的深远影响.

关键词 多领域融合计算; 数据流架构; 抽象机模型; multi-domain integrated computing; dataflow architecture; abstract machine model

摘要 面对日益复杂且随时间迅速变化的数据中心网络流量,基于带内网络遥测(in-network telemetry,INT)信息的拥塞控制技术面临诸多挑战.一方面,现有的较为成熟的算法主要依赖接收方的ACK(acknowledge)包反馈INT信息到发送方来获得链路负载信息,由于ACK包的反馈时延是RTT (round trip time)级别的,发送方在流传输的第1个RTT内无法获得INT信息.另一方面,现有的算法普遍缺乏在流传输完成时对网络空闲带宽的抢占,因而网络不可避免地会出现带宽浪费.本文深入探索基于INT信息的拥塞控制技术,有效打破了RTT级别的流控时间屏障,缓和了带宽浪费,提出了一种超精准、高效的拥塞控制算法—ACC (agile congestion control).与现有较为成熟的基于INT信息的拥塞控制算法HPCC (high precision congestion control)相比, ACC格外关注流传输的第1个RTT,在此期间利用交换机将路径拥塞信号传回发送方,能够对网络拥塞做出更敏捷的反应.此外, ACC关注网络中长流对带宽的抢占能力,能够帮助长流提前感知空闲带宽,从而降低网络传输的尾延迟.大量的实验验证了ACC方案的性能,实验结果显示在保持与HPCC一致的高吞吐量的基础上, ACC能够有效降低队列长度和流尾延迟.具体来说,在大规模Clos网络拓扑中,当工作负载为WebServer,负载强度为0.6时,与HPCC相比, ACC能够将平均队列长度减少9.6%,将第95百分位流完成时间减少29.7%.

关键词 数据中心网络拥塞控制; 带内网络遥测; 带宽抢占; 交换机主机协同; datacenter congestion control; in-network telemetry; bandwidth preemption; coordination of switch and host

摘要 为了应对越来越高的算力需求, GPU在流处理器内集成了多种通用计算单元及专用计算单元(FP32 Core, INT32 Core, FP64 Core, Tensor Core, RT Core).任意一种GPU内可能包含以上计算单元中的部分单元.尽管GPU的流处理器内存在着多种计算单元,它们之间的计算并行性无法从硬件设计白皮书中获知.与此同时,现有调度接口无法支持使用不同计算单元的核函数并行利用这些计算资源,更无法支持运行时的精细调度以最大化系统吞吐.面对以上问题,我们提出了硬件感知吞吐导向的核函数调度方法 Hato. Hato首先设计了一个硬件并行性感知工具,支持为任意GPU定位出所有的流处理器内并行性.其次, Hato提出了一个核函数混跑建模方法,通过核函数混跑利用到流处理器内并行性,并支持核函数在混跑情况下的执行时间精准预测.最后, Hato提出了一个吞吐导向的调度策略,支持在保证延迟敏感型应用服务质量的同时,利用到所有可能的流处理器内并行性,以最大化整体系统吞吐.实验结果表明, Hato相比最新调度系统Tacker提升了平均19.2%,最高54.1%的系统吞吐.

关键词 GPU; 流处理器内并行性; 吞吐提升; 运行时系统; GPU; intra-SM parallelism; throughput improvement; runtime system

摘要 随着城市化建设进程的加速,超级智慧城市群的新格局正在形成,物联网、人工智能和大数据等技术正快速渗透至城市信息基础设施的建设,使智慧城市形成极具前景的新兴交叉研究领域.然而现有智慧城市解决方案通常是面向不同城市的定制化方案,在实际应用中缺乏对城市运行状态全面智能感知和多区域协同能力.本文提出了视觉端边云融合的架构,用于智慧城市群的协同发展.首先,将推动智慧城市信息基础设施的新质生产力凝练出算力、运力、数力、智力、视力的新五维特征.之后,通过构建层次化的城市内和城市间视觉端边云架构,解决数据互通瓶颈并助力打破城市间的信息孤岛,提升整体系统的灵活性和可靠性.同时,本文还提出了特征重构的资源共享技术、面向大规模群体的跨域协同优化技术、以及面向复杂城市网络的持续演化的关键技术,从而实现城市智慧连接,形成共通、共享、共赢的新型城市网络架构,以支持智慧城市群通过视觉数据进行跨场景、精准、动态实时的计算.本文旨在为智慧城市群的发展提供一个全面的技术架构和解决方案,以支撑超级智慧城市群的协同演进,推动智慧城市群的智能化进程.

关键词 视觉端边云; 端边云系统; 智慧城市群; 智能系统; 视觉计算; visual end-edge-cloud; end-edge-cloud system; smart city clusters; intelligent system; visual computing

摘要 近年来,随着物联网和人工智能技术的融合,智能物联网(AI+IoT, AIoT)逐渐成为备受关注的新兴前沿领域.在这一背景下,深度学习驱动的智能应用逐渐渗透到智慧城市、公共安全等多个领域.为了实现智能计算从云端向物联网终端和边缘端延伸,智能物联网的多移动终端设备协同工作需要面对的挑战包括可用资源受限和环境动态变化等方面.在智能物联网中,多移动终端具备泛在感知、智能计算与自主决策能力,并参与到感知、计算、学习和决策的过程中.本文提出了多移动终端轻量化感–算–策协同增强方法,旨在克服单终端的视野、资源和性能局限,提升系统的感知覆盖和计算效率,提高在多种应用场景下的任务性能.

关键词 智能物联网; 数据融合感知; 深度模型伸缩卸载; 大小模型互馈决策; 异构系统跨层优化; intelligent Internet of Things; data fusion perception; deep model scalability offloading; mutual feedback decision of large and small models; cross-layer optimization of heterogeneous systems

摘要 近年来,以忆阻器为代表的存内计算架构被广泛研究,用于加速各种应用,并有望突破冯·诺伊曼(von Neumann)架构面临的内存墙瓶颈.本文观察到忆阻器计算操作的能源消耗存在不对称性,即在低电阻状态下对忆阻器单元的操作能耗可能比在高电阻状态下高出数个数量级.这为通过减少低电阻状态单元的数量来节省计算能源提供了机会.为此,本文提出了一套通用且高效的忆阻器编解码机制,可以无缝集成到现有加速器中,并且不会影响其计算结果.在编码部分,设计了一个基于减法的编码器,实现了低电阻状态到高电阻状态的编码转换,并将编码问题表述为图遍历问题以实现最优的编码结果.在解码部分,配备了一个轻量级的硬件解码器,用于还原编码的计算结果,并且避免引入额外的计算时间开销.实验结果显示,本方案在机器学习和图计算等多个领域取得不俗效果,分别实现了高达31.3%和56.0%的能源节约.

关键词 存内计算; 忆阻器; 加速器; 高能效; 机器学习; 图计算; processing in memory; memristor; accelerator; energy efficiency; machine learning; graph processing

摘要 高速网络流大小的测量面临着高速存储资源极度稀缺的挑战,难以满足海量流式数据的实时存储需求.目前的研究大多采用存储资源共享技术,以便将设计的估计器置于稀缺的高速片上缓存中.然而,这种方法引入了大量难以消除的噪声,导致中小规模流的估算精度不高.为了解决这一问题,本文提出一种能根据流大小自适应调整所占用存储空间的自适应Sketch技术,并在此基础上设计出一个高精度、低存储开销的每流大小估计器.自适应Sketch技术利用可逆计数器高效滤除海量噪声小流,并进一步采用采样概率逐层递减的采样计数器实现对不同规模流的自适应采样计数,从而控制大流对资源的过多占用,实现了低开销、高精度的每流大小测量.基于真实网络数据集CAIDA 2019的仿真实验表明,所提出的自适应Sketch流大小估计器的平均相对误差较现有机制降低了接近1个数量级.

关键词 高速网络; 流大小测量; Sketch; 噪声小流过滤; 可逆计数器; high-speed network; flow size measurement; Sketch; small flows filtering; reversible counters

摘要 图作为一种灵活表达对象之间关系的数据结构,广泛地应用于各类重要的现实场景.近年来,随着性能提升速度放缓,通用处理器逐渐无法满足图计算应用的需求,并成为限制图计算发展的主要瓶颈.因此,面向图计算的领域专用加速器成为近年来的研究热点.通过定制化的硬件设计,图计算加速器可以在图计算应用中取得通用处理器数十倍的性能.然而,现有的图计算加速器在运行宽度优先算法时会频繁地重复访问幂律顶点的相关数据,进而导致了严重的冗余访存问题.在特定场景下,现有的图计算加速器的性能甚至低于通用CPU.为了解决该问题,本文提出一种冗余感知的高能效图计算加速器JiFeng.当幂律顶点完成迭代计算时, JiFeng通过跳过剩余的相邻边大幅减少其被重复访问的次数. JiFeng实现了一系列软硬件协同设计,在保证负载均衡的同时提升硬件的执行效率.为了验证JiFeng的有效性,本文采用FPGA原型系统对相关设计进行性能评估. JiFeng在典型的生成图和现实图上实现最高每秒遍历4612亿条边的性能和每秒每瓦特遍历125亿条边的能效比,并在2023年11月的图计算超算排行榜GreenGraph500的小数据集榜单上取得第2名的成绩.

关键词 图计算; 加速器; 宽度优先搜索; 冗余访存; FPGA; graph processing; accelerator; breadth-first search; redundant memory access

摘要 服务器无感知计算作为云原生范式中快速发展的新兴技术,因其按需付费、自动资源伸缩和底层环境屏蔽等特点而受到越来越多的开发人员欢迎. FaaS (函数即服务)作为Serverless架构的主要实现方式,以函数粒度对应用进行解耦和执行.大多数云服务提供商也为应用开发人员提供了基于Serverless架构的应用搭建服务,这些服务允许开发人员以函数的形式部署代码,并根据实际的请求量进行自动扩缩容.然而,在部署有状态函数时,由于Serverless架构的无状态特性,管理其中的有状态数据变得复杂,往往无法满足Serverless中函数对有状态数据的访问性能要求.因此,本文提出了一种基于有状态和动态可寻址会话机制的服务器无感知计算系统XFaaS,实现了低开销的有状态数据访问和更高的应用吞吐.实验结果表明,通过采用XFaaS系统部署有状态函数的方式,可以降低有状态数据访问时延3个数量级,并提高2倍以上的函数最大吞吐量.

关键词 服务器无感知计算; 函数即服务; 有状态函数; 粘滞会话; 容器; Serverless computing; function-as-a-service; stateful function; sticky Session; container

摘要 联邦学习(federated learning, FL)是一种以保护客户隐私数据为中心的分布式处理网络,为解决隐私泄露问题提供了前景良好的解决方案.然而, FL的一个主要困境是高度非独立同分布(nonindependent and identically distributed, non-IID)的数据会导致全局模型性能很差.尽管相关研究已经探讨了这个问题,但本文发现当面对non-IID数据、不稳定的客户端参与以及深度模型时,现有方案和标准基线FedAvg相比,只有微弱的优势或甚至更差,因此严重阻碍了FL的隐私保护应用价值.为解决这个问题,本文提出了一种对non-IID数据鲁棒的优化方案:FedUp.该方案在保留FL隐私保护特点的前提下,进一步提升了全局模型的泛化鲁棒性. FedUp的核心思路是最小化全局经验损失函数的上限来保证模型具有低的泛化误差.大量仿真实验表明, FedUp显著优于现有方案,并对高度non-IID数据以及不稳定和大规模客户端的参与具有鲁棒性.

关键词 分布式网络; 联邦学习; 异构优化; 泛化性; 鲁棒性; 隐私保护; distributed network; federated learning; heterogeneous optimization; generalization; robustness; privacy protection

摘要 随着深度学习应用的快速发展,神经网络模型的参数量变得越来越大,这意味着训练一个可用的神经网络模型需要更多的算力和更长的计算时间,因此如何提升神经网络训练的效率至关重要.然而训练效率在很大程度上取决于硬件后端和编译器.为了提升神经网络训练的性能,编译器的效率亟待提升,而这主要取决于计算图的优化、算子级别的优化和代码生成.主流的神经网络训练框架(如TensorFlow, PyTorch)使用了供应商特定的、通过手工设计算子获得的算子库.然而,手工设计算子浪费了大量的算子级别的优化空间,因此研究人员提出了TVM.作为一个端到端的编译器, TVM实现了算子级的自动优化,比现有框架进一步提高了性能.此外, TVM支持从多种神经网络框架中导入神经网络模型,并在不同主流硬件后端上部署.然而, TVM的注意力集中于提升神经网络推理任务的性能,并不支持神经网络的训练.本文提出了TVMT,第一个基于TVM、支持神经网络训练的端到端编译器.为了支持神经网络训练,本文提出了以下方法.(1)合并损失函数到现有的计算图中,以支持前向和后向传播;(2)在训练过程中采用设备到主机的机制来更新权重参数;(3)集成了最先进的张量程序调优器,以自动优化神经网络训练程序.实验结果表明,与PyTorch相比, TVMT在Intel CPU和NVIDIA GPU上的神经网络训练性能达到了最高4.88倍的提升;与TensorFlow相比, TVMT在Intel CPU和NVIDIA GPU上的神经网络训练性能达到了最高11.5倍的提升.

关键词 神经网络编译器; 神经网络训练; 算子自动优化; 参数更新; 反向传播; neural network compiler; neural network training; automatic optimization for operators; parameters update; back propagation

摘要 在SDN (software-defined networks)网络中检测大流对负载均衡、异常检测、流量工程等网络应用的实施及网络服务质量的提升至关重要. SDN网络通常使用流表统计流量数据,但由于存储流表的三态内容寻址寄存器(ternary content addressable memory, TCAM)资源有限,仅凭流表无法从海量网络数据中识别出所有大流,需要使用紧凑数据结构作为额外的测量模块来辅助检测.现有的研究多考虑将测量模块部署在单台或边缘交换机上,但交换机中的高速存储资源和计算资源极度紧缺,处于高流量链路上的交换机会因执行测量任务承受过高的负载,甚至影响交换机核心功能的执行.为此,本文提出了一种面向SDN网络的分布式轻量级大流检测方案.该方案将网络流量测量任务分摊至全网交换机,进而实现测量负载的均衡,并结合所设计的轻量级测量模块,有效降低了每台交换机执行测量任务所需的计算和存储开销.实验结果证明该方案较已有最新研究成果具有更高的测量精度及更低的计算和存储开销.

关键词 SDN网络; 网络流量测量; 大流检测; 分布式测量; Sketch; software-defined networks; network traffic measurement; elephant flow detection; distributed measurement

摘要 随着现实世界中动态图计算需求的快速增长,现有的研究工作已经提出了多种方法来有效支持单调图算法在动态有向图中的处理.然而,由于动态有向图的图结构频繁发生变化,其相邻图顶点之间的状态更新存在复杂的依赖关系,这使得现有的软硬件方法在处理单调图算法时依然面临着数据访问成本高和收敛速度慢的问题.为此,本文提出了一种面向动态有向图的单调图算法加速器DSGraph,它能够充分利用图顶点之间的依赖关系来加快单调图算法在动态有向图处理中的收敛速度,并有效降低数据访问成本.具体来说, DSGraph通过实时提取动态有向图中图顶点的局部拓扑依赖顺序来执行异步迭代处理,从而显著减少冗余的图顶点状态更新.同时, DSGraph设计了一种异步迭代流水线架构,其按照依赖顺序对图顶点状态进行异步迭代处理,从而加速图顶点状态传播速度并减少数据访问开销.最后, DSGraph提出了一种无阻塞数据同步机制,通过并行执行本地图顶点的状态更新和外部图顶点的数据同步来减少系统同步开销.实验显示,与目前最先进的面向单调图算法的动态图处理系统KickStarter相比, DSGraph将动态有向图处理速度平均提升了11.2倍.

关键词 动态有向图; 单调图算法; 增量计算; 依赖感知; 图加速器; dynamic directed graph; monotonic graph algorithms; incremental processing; dependency-aware; graph accelerator;

摘要 随着高性能数值模拟对客观对象逼真度的不断增强,学科交叉特征凸显,带来多物理场耦合的多样性和动态演化,给并行计算带来了新的挑战.相对于单一学科或静态的多物理场耦合,挑战主要表现在两个方面,其一,如何降低耦合的复杂度;其二,如何支撑提升耦合的可信度.本文提出一种跨学科并行计算构件模型,统一表征结构网格、非结构网格和组合几何的网格数据模型,构件化数据通信、负载平衡和数值计算功能,将耦合复杂度从平方量级降低到线性近优,并奠定了耦合可信度提升的并行计算基础.结构–流体–传热等跨学科多物理场耦合并行计算表明,本文提出的构件模型有效.

关键词 构件模型; 并行计算; 学科交叉; 多物理场耦合; component model; parallel computing; interdisciplinary; multiphysics coupling;

摘要 随着全球数据的指数级激增,数据中心在存储和管理数据方面正面临空前挑战,基于服务器架构的传统数据中心在资源利用率、扩展性、性能等方面的缺陷日益显著,已经愈发难以满足业务需求.近年来,一种分离式数据中心架构得到了学术界和工业界的广泛关注:该架构下,硬件资源被拆分为不同的硬件资源池(例如处理器池、内存池、存储池等),并通过高速网络互连;管理员可以按需扩展特定的硬件资源池,且各类硬件资源可以在不同应用间灵活共享.然而,分离式数据中心架构在访存模式、存储层级、容错模型、软件开销等方面呈现出显著差异,这为构建分离式架构友好的存储系统带来了新的挑战.首先,分析了分离式数据中心的驱动因素,阐述了其架构特点及优势,并综述了对应存储系统的关键技术和代表性研究工作;然后,围绕数据容错、异构计算及异构网络,展望了未来的发展趋势并给出了总结.

关键词 分离式数据中心; 分离式内存; 分离式存储; 存算分离; disaggregated datacenter; disaggregated memory; disaggregated storage; separation of compute and storage;

摘要 近年来,以深度学习为代表的人工智能技术迅猛发展,深度学习模型和训练数据的规模均呈爆炸式增长,给智能模型训练系统带来了巨大挑战.随着高性能计算与人工智能的不断深度融合,并行智能训练技术成为大规模深度学习模型高效训练的主要方法.本文总结了并行智能训练的基本模式和关键技术,以及并行智能训练框架的发展现状,分析了并行智能训练技术和框架发展面临的挑战与发展趋势,简介了银河天璇并行智能训练框架的研究进展.

关键词 智能训练; 高性能计算; 并行智能训练; 深度学习; intelligent training; high-performance computing; parallel intelligent training; deep learning;

摘要 物联网移动群智感知模式本质是汇聚大规模普通移动个体的智能感知能力,对开放、动态、复杂物理环境进行感知,通过感知大数据的智能分析,对感知群体引导和反馈,使其持续涌现群体智能并辅助综合决策.目前的群智感知系统仍然存在个体感知欠智能、群体目标少引导、群智过程弱调控三方面的局限性.本文首先讨论了群智感知研究现状和面临的挑战;结合人机物融合、云边端协同、感算控闭环3个核心发展趋势,提出一种智能演进与反馈引导结合的新型群智感知系统架构模型Evo-CPS,并研究了该模型的实现方法;然后结合智慧出行应用场景,将所提出的理论方法进行应用验证;最后,总结全文并展望新一代群智感知研究领域的发展方向.

关键词 群体智能; 群智感知; 人机物融合; 智慧出行; crowd intelligence; crowdsensing; human-cyber-physical fusion; smart transportation;

摘要 ATPG (automatic test pattern generation)是VLSI (very large scale integration circuits)电路测试中非常重要的技术,它的好坏直接影响测试成本与开销.然而现有的并行ATPG方法普遍存在负载不均衡、并行策略单一、存储开销大和数据局部性差等问题.由于图计算的高并行度和高扩展性等优点,快速、高效、低存储开销和高可扩展性的图计算系统可能是有效支持ATPG的重要工具,这将对减少测试成本显得尤为重要.本文将对图计算在组合ATPG中的应用进行探究;介绍图计算模型将ATPG算法转化为图算法的方法;分析现有图计算系统应用于ATPG面临的挑战;提出面向ATPG的单机图计算系统,并从基于传统架构的优化、新兴硬件的加速和基于新兴存储器件的优化几个方面,对图计算系统支持ATPG所面临的挑战和未来研究方向进行了讨论.

关键词 图计算; 超大规模集成电路; 自动测试向量生成; 电子设计自动化; 电路测试; graph processing; VLSI; ATPG; electronic design automation; circuit test;

摘要 区块链技术与工业物联网(Industrial Internet of Things, IIoT)的融合,为工业领域数据交易和共享带来了革命性机遇.然而,现有区块链模型在IIoT场景下面临着可扩展性、安全和效率的挑战.本文提出了一种基于信用的分布式账本模型CreChain,旨在解决上述问题.该模型通过引入信用账户,优化交易验证过程,实现了高吞吐量和低延迟性能,同时利用Mtree和Credit证明来确保交易安全,保护用户隐私.此外,通过优化信用选择、证明和交换机制,进一步提高了系统性能和可扩展性.实验结果表明, CreChain能够实现20000 TPS (transactions per second)的吞吐量和秒级的交易确认延迟,在共识效率和存储成本方面同样优于主流的区块链扩展方案,能够有效利用区块链实现安全高效的数据交易和共享,使其成为IIoT应用场景的理想选择.

关键词 区块链; 工业物联网; 共识算法; 分布式账本; 零知识证明; blockchain; industrial Internet of Things; consensus algorithm; distributed ledger; zero-knowledge proof

关键词 处理器安全; 漏洞挖掘与利用; 动态电压频率调节; 故障注入攻击; 隐藏通道攻击; processor security; vulnerability exploring and exploitation; dynamic voltage and frequency scaling; fault injection attack; covert channel attack

摘要 物联网（Internet of Things,Io T）领域当前正面临着无法回避且持续存在的网络安全威胁以及设备资源受限的双重挑战.针对前述问题,本文在ASIC （application specific integrated circuit）平台上,利用时序复用与门控时钟技术,设计了一种高效的低面积ZUC算法硬件实现电路.此电路通过确保每个功能模块仅被实例化一次,实现了电路面积的极小化.在S盒的设计上,本文借鉴了塔域分解的思想,并提出了一种算法,用于在有限域F2n到有限域F′2n之间搜索同构映射矩阵.该算法旨在找到一种同构映射,当它与S盒运算的仿射矩阵及其他相关矩阵相乘后,能够以最少的异或逻辑门数实现映射.基于上述两点,本文所实现的S1-box在面积上与当前AES算法的Sbox相当.在线性变换部分,本文采用了最大距离可分（maximum distance separable,MDS）矩阵拆解的思想,使得整个线性层的实现仅需164个异或门.在加法链的设计上,本文采用了进位存储加法器、32比特加法器、单加数的31比特加法器与中间寄存器的组合.这一设计使得线性反馈移位寄存器层与有限状态自动机层能够共享同一条加法链,从而进一步优化了电路结构.在TSMC 90 nm工艺下综合验证,本文所提出的硬件实现方案在时钟频率为250 MHz时,吞吐率可达2 Gbps,同时面积开销仅为6.67 k GE.与当前主流方案相比,本设计在保持吞吐率不变的前提下,面积开销降低了44%.

关键词 ZUC; 面积优化; 复合域; 时序复用; 窄带物联网; area optimization; composite domain; time division multiplexing; NB-IoT

摘要 现实环境中各种泄露攻击的存在,使得攻击者能够获得用户秘密信息的部分泄露,导致密码算法的传统安全性在有泄露攻击的环境下不再成立.为进一步防止泄露攻击对数据安全性的危害,密码学研究者提出了一系列具有抗泄露攻击能力的密码算法.属性基加密(attribute-based encryption,ABE)机制由于其能为数据提供细粒度的访问控制能力,在现实环境中得到了广泛的关注和应用.然而,在现有抗泄露ABE机制的构造中,其系统公开参数的尺寸与其所能支持属性集合的大小成正比,导致其无法在大属性集环境中使用.为进一步增强抗泄露ABE机制的实用性和适用性,本文提出了支持大属性集合的抗泄露ABE机制的新型构造方法.为获得更优的计算效率,本文首先在素数阶群上提出了支持大属性集合的抗泄露ABE机制的构造方法,并基于判定的并行双线性Diffie-Hellman指数假设证明了该方案的安全性,同时通过性能分析表明该方案具有较优的计算、存储和通信效率.为获得更紧致的形式化安全性证明过程,本文随后在合数阶群上提出了支持大属性集合的抗泄露ABE机制的构造方法,并基于合数阶群上改进的子群判定假设证明了该方案的安全性.此外,本文还对上述两种抗泄露ABE机制的基本性能进行了对比和分析.

关键词 泄露容忍性; 属性基加密机制; 大属性集合; 辅助输入泄露; leakage-resilience; attribute-based encryption; large universe; auxiliary input leakage

摘要 唯一最短向量问题(unique shortest vector problem, uSVP)的困难性是一些流行的格密码方案的安全基础,对其在不同参数下的复杂性的研究也是格密码体系的重要组成部分,然而这方面的研究进展十分缓慢,同时对uSVP的细粒度复杂性的研究也十分欠缺.本文改进了一个从最短向量问题(shortest vector problem, SVP)到uSVP的归约算法,提高了其成功概率,调整了参数限制,从而允许建立不同参数条件下从SVP到uSVP的细粒度归约.利用这个归约,得以证明以下结果:(1)在超多项式时间下,得到了一个参数更大的从SVP到uSVP的归约;(2)在强指数时间假设(gap strong exponential time hypothesis, GapSETH)下,构建了从常数参数的SVP到常数参数的uSVP的亚指数时间归约,从而证明了uSVP在GapSETH下的困难性;(3)以上结果都可以转化成有界距离译码(bounded distance decoding, BDD)的相应结论:在对应条件下求解参数小于1的BDD也是困难的;(4)结合稳定格中的格点个数上界,得到了参数远超常数的从SVP到uSVP的归约.

关键词 最短向量问题; 唯一最短向量问题; 计算复杂性; 细粒度复杂性; 复杂性归约; shortest vector problem; unique shortest vector problem; computational complexity; fine-grained complexity; complexity reduction

摘要 随着各种流行传染病在全球频繁暴发,传染病监测在阻止传染病传播方面发挥着至关重要的作用.隐私保护数据聚合技术常用于避免传染病监测数据传输造成的用户隐私泄露问题.然而,现有的数据聚合方案仍然具有一些安全问题,如聚合节点不可信等.为了解决这些问题,本文提出了一个支持容错的轻量级可验证隐私保护传染病监测数据聚合方案.首先,使用基于CRT (Chinese remainder theorem)改进的Paillier同态加密系统和支持批量验证的签名算法分别对传染病数据进行高效加密和签名,以保护数据传输过程中的数据隐私和数据完整性.其次,使用承诺机制解决聚合节点不可信的问题.此外,本方案支持容错,即使某些用户和聚合节点没有按时地上传数据,聚合工作依然能够继续.特别地,本方案能够抵抗合谋攻击,满足更高的安全需求.由于本方案没有使用高耗时的计算操作,如双线性映射等,仿真实验证明本方案具有优秀的计算和通信开销,可以安全有效地应用于传染病检测系统.

关键词 传染病监测; 数据聚合; 隐私保护; 同态加密; 轻量级; infectious disease surveillance; data aggregation; privacy-preserving; homomorphic; lightweight

摘要 在攻击调查领域,为应对依赖爆炸和语义鸿沟的挑战,日志融合通过引入多层级日志的丰富语义得到系统实体之间细粒度的因果关系,以逼近实际的执行历史.然而,由于审计日志的系统调用和应用日志的程序消息被用来推断复杂的系统状态,基于日志融合的攻击调查系统存在被对抗攻击的弱点,本文率先提出并称之为日志重融合攻击(log refusion attacks),其演示了攻击者如何增强实际漏洞来破坏日志完整性,绕过现有防御,破坏溯源中的联结并陷害良性用户.而后,本文提出一种攻击调查的新设计PRovGuARD (provenance guardian),它利用同时包含程序调用控制流和应用消息数据流的建模来交叉验证审计日志和应用日志的历史记录,以确保执行的合法性和一致性.如果攻击者毁损溯源数据,将检测到矛盾并告警,修正执行路径,得到正确的攻击根因和后果.本文在Linux上实现了原型,并在覆盖各类执行模型的14个实际应用场景及程序上进行了广泛评估.实验结果显示,其成功验证还原了正确的攻击故事,且平均性能开销比传统审计框架仅高3.62%,同时在最坏情况下只重新引入0.78%的错误依赖,证明了原型的有效性及其防御攻击的新颖性.

关键词 攻击调查; 对抗攻击; 日志融合; 控制流图; 数据流图; attack investigation; adversarial attack; log fusion; control flow graph; data flow graph

摘要 椭圆曲线密码体制(elliptic curve cryptosystem, ECC)依然是当前应用最广泛的公钥密码体制,其安全核心是椭圆曲线离散对数问题.本文提出了椭圆曲线离散对数的强不动点问题.利用强不动点假设,在随机预言模型下证明了ECDSA (elliptic curve digital signature algorithm)的一个全域哈希变形方案是可以抵抗自适应选择消息下的存在伪造的.签名的聚合性质使得签名方案在诸如区块链、云存储等众多场景中发挥着重要作用,所以本文也讨论了这个全域哈希椭圆曲线签名方案的聚合性质.

关键词 椭圆曲线; 数字签名; 不动点; 加和多项式; 聚合签名; elliptic curve; digital signature; xed point; summation polynomial; aggregate signature

摘要 内积函数加密支持当使用一个与向量y相关的私钥解密一份与向量x相关的密文时,解密者仅能获得内积值?x, y?而无法获取任何其他信息.分层广播内积函数加密,则进一步具有密文向指定用户广播与密钥授权的性质. SM9标识加密是我国自主设计的一个商用密码标准,已被应用于物联网、医疗协同服务与电子政务等领域,但SM9标识加密算法及现有扩展算法均无法同时实现内积函数的功能与密文广播、密钥授权的性质,限制了SM9标识加密算法的适用场景.本文基于SM9标识加密算法设计了一个分层标识广播内积函数加密方案HIBB-IPFE-SM9.方案构造借鉴了Abdalla等的内积函数加密(PKC’15)与Liu等的分层广播加密(ACISP’14)的设计思想,解密算法仅包含两个双线性配对运算.本文还在随机谕言机模型中证明了方案满足选择明文安全性.最后,对提出方案与现有相关方案进行了对比分析,结果显示HIBB-IPFE-SM9方案在计算和通信开销上与相关方案是可比的.

关键词 内积函数加密; 分层广播加密; 标识密码; SM9; 选择明文安全; inner product functional encryption; hierarchical broadcast encryption; identity-based cryptography; CPA

摘要 随着数字经济时代的到来,数据已成为重要生产要素,将数据外包给第三方存储、管理、分析、计算等应用越来越广泛,随之而来的外包数据、外包计算等外包服务的可信性问题也日益突出,可验证技术被视为判定外包服务可信的一种有效且具有广泛应用前景的技术.该技术发展迅速、研究内容丰富、技术多样、种类繁多,且随着区块链、人工智能、隐私计算等新型外包服务需求的出现,为可验证技术带来了新的挑战和发展契机.本文对面向外包服务的可验证技术研究进展进行了梳理与总结.首先梳理总结给出了面向外包服务的可验证技术框架、分类方法、安全目标与评价体系.接着从外包数据和外包计算两个角度给出可验证技术的形式化定义,并分别论述其典型的可验证方案.然后从外包数据的角度,以验证数据类型为主线结合实现的功能和方法分别详细论述了不同数据类型、不同场景、不同实现方式的外包数据持有性验证和完整性验证技术;从外包计算的角度,根据外包计算类型的不同,总结归纳了5种典型外包计算的可验证技术特点及研究进展,并基于提出的评价体系对典型方案进行了详细的对比分析.最后结合新兴技术和应用热点,展望了可验证技术在前沿方向上的发展趋势、应用前景及其面临的挑战.

关键词 外包服务; 外包数据验证; 可验证计算; 可认证数据结构; 动态可验证结构; outsourcing services; outsourcing data verification; verifiable computation; authenticated data structures; dynamic verifiable structures

摘要 FBC是一种轻量级分组密码算法,由于结构简单、软硬件实现灵活等优点成为2018年中国密码学会(CACR)举办的全国密码算法设计竞赛中晋级到第2轮的10个算法之一.FBC密码包含3个版本支持128和256两种比特长度的明文分组以及128和256两种比特长度的密钥,本文主要对分组长度128位的两个版本进行分析.我们基于SAT (Boolean satisfiability problem)模型对FBC的差分特征进行自动化搜索,得到了新的14轮差分路线,概率为2~(-102.25).基于此路线我们给出了18轮FBC128-128和20轮FBC128-256差分分析,并且在分析过程中给出了复杂度估计.对于18轮FBC128-128差分分析,时间复杂度和存储复杂度分别为2~(101.5)和2~(52).对于20轮FBC128-256差分分析时间复杂度和存储复杂度分别为2~(184)和2~(96).

关键词 分组密码; 差分分析; FBC 算法; 布尔可满足性问题; block cipher; differential cryptanalysis; FBC; Boolean satisfiability problem

摘要 联邦学习甫一问世便得到了广泛的关注,被认为是一种具有广阔前景的分布式机器学习范式.然而,传统联邦学习方案基于中央服务器的集中式设计,在效率和可扩展性上存在不足.此外,集中式设计需要有可信的中央节点协调参与者完成训练,可能导致信任和可靠性的问题,例如中央服务器被操控或是出现单点故障.为了解决上述问题,相关领域的研究人员提出了基于区块链的去中心化联邦学习方案.去中心化联邦学习修补了传统集中式联邦学习的缺陷,但与此同时也引入了全新的攻击面.具体而言,由于区块链将网络中节点发起的全部事务保存在一个公开共享的数字账本,所有区块链节点都可以获取联邦学习参与者每轮的本地训练模型副本.这一现象严重地侵害了参与者的数据隐私和自身利益.在上述困境的驱动下,本文提出了一种安全去中心化联邦学习的可行方案,能够同时解决联邦学习参与者的数据机密性问题和学习公平性问题.区别于此前的研究工作,还提出了一种基于区块链的联邦学习的生产–消费模型,用于在模型安全聚合过程中审查参与者的本地行为,防止出现参与者不劳而获或是虚假训练的情况,在此基础上本文提出APoS共识机制,提供一种激励与审查机制,确保参与者在联邦学习的过程中倾向于选择诚实的训练.

关键词 联邦学习安全; 去中心化网络; 区块链; 数据消费; 激励机制; secure federated learning; decentralized network; blockchain; data consumption; incentives

摘要 传统基于区块链的“真实存储”系统在过滤“无效查询请求”时忽略了提供“不存在证明”,恶意节点可以随时对指定用户发动拒绝服务攻击.本文提出了可验证布隆过滤器的一种构建方式,基于布隆过滤器快速过滤无效查询请求的同时能有效提供证据证明数据不存在;此外,针对证明过程中可能造成的隐私泄露问题,本文提出了“隐秘的可验证布隆过滤器”和“数据混淆”两种方式,前者确保每个“不存在证明”只会泄露布隆过滤器的一位置零位,减少了数据泄露量;后者则是在前者的基础上进一步降低用户从泄露的布隆过滤器中推测出真实内容准确率.实验数据表明,当无效查询请求量占比为35%时,读取性能提升大约30%;当无效查询请求量占比为95%时,读取性能可提升十倍以上.

关键词 区块链; 可验证布隆过滤器; 可认证数据结构; 不存在证明; 隐私保护; blockchain; veri able Bloom lter; authenticated data structure; nonexistence proof; privacy preserving

摘要 算力网络旨在深度融合算力资源与网络资源,实现多种资源的高效协同,最大化资源利用率.算力网络边缘部分通常采用分布式软件定义网络架构,构建逻辑集中但物理分散的控制平面,并将其与数据平面分离,实现全网算力资源与网络资源的统一调度与编排.然而,攻击者极易将控制平面作为首要攻击目标,发起分布式拒绝服务攻击(distributed denial of service, DDoS),使控制平面大面积失效,严重影响计算任务的实时传输.为了解决算力网络中的安全问题,本文创新性地提出了基于深度强化学习的算力网络主动防御方法.首先,构建了马尔可夫决策过程(Markov decision process, MDP)模型来准确表征交换机与控制器映射关系的动态性,并设计了一种基于节点介数的奖励函数来反映DDoS攻击对控制器部署方案的影响.其次,综合考虑多种网络约束,将多控制器部署问题建模为约束满足问题,其可行解空间即为MDP模型的动作空间.最后,提出了一种基于深度强化学习的主动防御算法,迭代优化动作选择策略,智能化选择多控制器部署方案.实验结果表明,该方法在网络性能几乎无损的前提下,相比基准方法能够分别提升13%和8%的防御成功率.

关键词 算力网络; 分布式软件定义网络; 主动防御; 分布式拒绝服务攻击; 深度强化学习; computing power network; distributed software-defined network (SDN); moving target defense; distributed denial of service (DDoS); deep reinforcement learning

摘要 近年来,物联网技术的蓬勃发展带动了智能家居应用的快速发展,越来越多的智能家居平台开放各种应用程序接口,以方便用户实现自定义的智能家居应用,如设备联动控制.然而,这些开放接口中存在的安全缺陷也成为影响智能家居系统安全的重要因素之一.本文针对SmartThings智能家居平台的开放接口进行研究,发现了一系列新的具有安全缺陷的接口,并通过概念验证实验证实了其安全风险.为提升智能家居平台的安全性,设计并实现了检测智能家居云服务中接口滥用行为的工具SmartNotify.实验结果表明, SmartNotify能快速且准确地识别利用安全缺陷接口进行攻击的智能家居应用.

关键词 物联网安全; 智能家居安全; SmartThings平台; 开放接口; 云服务; IoT security; smart home; SmartThings platform; open interface; cloud service

摘要 随着计算单元和物理对象的高度集成,信息系统和物理系统正逐渐耦合发展为信息物理融合系统(cyber-physical system, CPS).根据CPS物理系统的客观规律,或业务流程间的复杂关联关系,CPS数据之间存在相互推断的可能;当出现从低安全域数据向高安全域数据的准确推断途径时,将引发推断型数据泄露威胁.本文通过分析数据推断引发的CPS数据泄露事件,从数据窃取和数据推断两个维度,提出数据泄露威胁的范式;将数据推断归纳为3类问题:状态估计问题、参数辨识问题和盲源分离问题,从模型驱动、数据驱动和数据–模型双驱动的角度,总结了数据推断的方法和算法.以电力市场为例,展示了基于公开电价数据推断电力系统关键参数的过程,验证了数据推断可以引发严重CPS数据泄露威胁.同时,分析了现有数据保护方法应对数据推断攻击时面临的挑战,探讨了CPS数据推断防御和数据安全治理的研究方向.

关键词 数据安全; 信息物理融合系统; 数据泄露威胁范式; 数据推断; data security; cyber-physical system; CPS; data leakage threat paradigm; data inference

摘要 随着无线通信技术在各领域的普及,基于该技术演进的移动边缘计算(mobile edge computing,MEC)引起了诸多研究者的关注.在MEC中,为确保边缘节点接入过程的安全性,近年来多个身份认证协议相继被提出,然而上述传统方案仅支持一对一的身份合法性认证,即实现了一个边缘节点与一个边缘服务器间的相互认证.由于需要通过重复认证操作以满足边缘节点在多个边缘服务器间的迁移需求,导致传统协议的工作效率较低、用户的通信体验欠佳.针对传统协议无法高效地解决MEC中边缘节点的移动性问题,本文基于无证书公钥密码体制,提出支持广播通信的身份认证机制,实现一个边缘节点同时与多个边缘服务器完成身份合法性认证的目标,确保边缘节点在多服务器间迁移过程的服务连贯性,提高MEC环境下的身份认证效率.此外,在随机谕言机模型下,基于离散对数问题和计算性Diffie-Hellman问题分别证明了本文协议中通信消息的不可伪造性和协商密钥的安全性;同时使用形式化分析工具ProVerif对协议的安全性进行了模拟验证,结果表明本文协议具有其所声称的安全性.与现有传统方案的性能对比结果表明本文协议具有更优的计算效率,更加适合在MEC等终端计算资源受限的网络环境下部署.

关键词 身份认证; 移动边缘计算; 无证书密码机制; 可证明安全性; identity authentication; mobile edge computing; certificateless cryptography; provably security

摘要 “云、大、物、移、智、链”等新技术的发展伴生了诸多安全问题特别是隐私泄露问题.密码学为这些问题的解决提供了独特视角和可行路线.这些新技术也促进了密码学研究的深入发展,许多新型密码原语、功能强大的高等密码算法与协议新型构造不断涌现.本文给出了具有隐私保护计算能力的几类高等密码算法与协议的研究进展综述,特别是安全多方计算、同态加密、零知识证明、以及不可区分混淆四类算法与协议的设计和分析研究进展,也通过具体示例讨论了它们的潜在应用场景.本综述既着眼于各类算法与协议的不同层级安全属性,也侧重于从模块化角度剖析具体构造的内在技巧逻辑甚至缺陷.本文有助于读者掌握这些高等密码算法与协议的最新理论和技术进展、背后的发展逻辑,并深悟其中的关键技术原理,在密码学理论和实践的结合过程中得到有益启发.

关键词 隐私保护; 安全多方计算; 同态加密; 零知识证明; 不可区分混淆; privacy preserving; secure multiparty computation; homomorphic encryption; zero-knowledge proof; indistinguishability obfuscation

摘要 为了避免电子健康数据(electronic health records, EHRs)在异常检测过程中泄漏患者信息和诊断结果等问题,针对医院与患者敏感数据的隐私保护,提出了一种基于CKKS全同态加密的EHRs异常检测隐私保护模型.将医院以及患者的EHRs由CKKS算法实现浮点数同态加密,设计一个基于密文比较算法的协议,通过可信密钥服务器与第三方数据中心之间的通信建立密文态孤立森林模型.并利用CKKS算法的SIMD技术,实现密文数据在孤立森林模型上的异常检测,最终返回密文结果.理论分析和实验结果表明,所提出的方案能够保证EHRs的隐私安全.并且在不同的EHRs数据集上验证,该模型优于传统的明文异常检测算法和同类型密文异常检测算法,且在密文态上能够保持和明文孤立森林算法相近的检测效率,有较好的异常检测效果.

关键词 同态加密; 孤立森林; 异常检测; 隐私保护; 密文比较; homomorphic encryption; isolation forest; anomaly detection; privacy protection; ciphertext comparison;

摘要 深度学习辅助密钥恢复攻击是2019年International Cryptology Conference (CRYPTO)上提出的一项全新密码分析技术.针对该技术至今无法应用于大状态分组密码的缺陷,本文提出了一种深度学习辅助的多阶段密钥恢复框架.该框架的核心是找到一个神经区分器组合,分阶段进行密钥恢复攻击.本文首先针对Speck的大状态成员分别训练了一组神经区分器,通过在该框架下利用区分器组合,设计并执行了实际密钥恢复攻击,证实了该框架的有效性.然后,提出了一种在低概率差分中寻找中性比特的方法,来把实际攻击扩展成覆盖更长轮数的理论攻击.最终,针对缩减轮Speck的最大状态成员取得了更好的密钥恢复攻击.这项工作为使用深度学习对更多分组密码进行密码分析铺平了道路.本文的验证代码已开源至https://github.com/AI-Lab-Y/NAAF.

关键词 大状态分组密码; 深度学习; 密钥恢复攻击; 差分分析; Speck; large-state block ciphers; deep learning; key recovery attack; differential cryptanalysis; Speck;

摘要 基于本地化差分隐私的多维分析查询(multi-dimensional analytical query, MDA)已得到了研究者的广泛关注.现有基于最优局部哈希(optimal local Hashing, OLH)机制与层次树结构的扰动方法存在泄露根结点隐私的风险.针对现有结合层次树结构的本地扰动机制不足,提出了一种有效且满足本地化差分隐私的MDA查询算法H4MDA (hierarchical structure for MDA),该算法充分利用层次树的横向与纵向结构特征设计了3种基于用户分组策略的本地扰动算法HGRR, LGRR-FD,LGRR.算法HGRR结合层次树横向结构与GRR机制本地扰动用户元组数据,通过摈弃根结点组合来响应MDA查询.不同于HGRR, LGRR-FD算法利用层次树的纵向结构与GRR机制扰动本地数据,同时通过添加假数据来避免叶子结点的隐私泄露. LGRR算法通过摈弃叶子结点层纵向扰动本地数据.收集者结合LGRR的扰动结果利用局部一致性处理技术重构层次树最后两层,通过添加虚拟叶子结点来响应MDA查询,而虚拟叶子结点计数之和等于其父节点计数. HGRR, LGRR-FD, LGRR算法与现有扰动算法在3种数据集上实验结果表明,其响应MDA查询的精度优于同类算法.

关键词 多维分析查询; 层次结构; 本地化差分隐私; 本地扰动; 随机应答机制; multidimensional analytical queries; hierarchical structure; local differential privacy; local perturbation; random response mechanism;

摘要 水声信道环境下,传统的密钥协商协议更容易遭受信息泄漏等安全威胁,而现有的隐蔽密钥协商协议由于受限于平方根定律,隐蔽通信速率不超过■.为解决上述难题,本文提出了一种基于水声信道的隐蔽密钥协商方案.在优先提取阶段,发送方以一定的功率向接收方发送均匀分布的随机消息,而接收方根据水下噪声方差信息,通过Gibbs采样计算出估计消息,并使用对数似然比检验获取初始密钥来减少消息传输时的不确定性和误比特率.信息调和阶段,发送方将伴随式发送给接收方,而接收方将接收到的伴随式与优先提取阶段得到的对数似然比序列进行联合解码来获得错误比特的位置信息,经过比特翻转后得到与发送方完全一致的最终密钥.通过假设检验理论和信息论,证明了方案的保密性、隐蔽性和可靠性.仿真结果表明,所提方案比现有方案性能有所提升.

关键词 水声信道; 隐蔽密钥协商; 优先提取; 信息调和; 对数似然比检验; underwater acoustic channel; covert secret-key agreement; advantage distillation; information reconciliation; log-likelihood ratio (LLR) test;

摘要 分层标识加密能有效减轻标识密码体制中密钥生成中心生成用户私钥和分发私钥的工作量.SM9标识密码作为我国商用密码行业标准和国家标准,在金融、政务等方面起着重要的作用,但SM9标识加密算法不具备分层加密的功能,不适合大规模网络的应用场景,阻碍了SM9加密算法的部署.本文基于商用密码SM9标识加密算法提出一个高效的分层标识加密方案SM9-HIBE.相比SM9标识加密算法,方案的密文只增加一个群元素,解密开销只增加一个双线性对运算,与接收者标识的长度无关.方案的安全性基于判定性BDHI困难问题,在随机谕言模型中可证明方案满足静态选择明文攻击模型下的不可区分性.最后,对方案进行比较分析,结果表明SM9-HIBE在计算开销和通信代价方面与现有HIBE方案是可比的.

关键词 分层加密; 标识密码; SM9; 密钥封装; 选择明文安全; hierarchical encryption; identity-based cryptography; SM9; key encapsulation; chosen-plaintext attack; CPA;

摘要 为了解决传统的机器学习中数据隐私和数据孤岛问题,联邦学习技术应运而生.现有的联邦学习方法采用多个不共享私有数据的参与方联合训练得到了更优的全局模型.然而研究表明,联邦学习仍然存在很多安全问题.典型地,如在训练阶段受到恶意参与方的攻击,导致联邦学习全局模型失效和参与方隐私泄露.本文通过研究对抗样本在训练阶段对联邦学习系统进行投毒攻击的有效性,以发现联邦学习系统的潜在安全问题.尽管对抗样本常用于在测试阶段对机器学习模型进行攻击,但本文中,恶意参与方将对抗样本用于本地模型训练,旨在使得本地模型学习混乱的样本分类特征,从而生成恶意的本地模型参数.为了让恶意参与方主导联邦学习训练过程,本文进一步使用了“学习率放大”的策略.实验表明,相比于Fed-Deepconfuse攻击方法,本文的攻击在CIFAR10数据集和MNIST数据集上均获得了更优的攻击性能.

关键词 联邦学习; 对抗样本; 投毒攻击; federated learning; adversarial example; poisoning attack;

摘要 现有的多数抗泄露加密机制的研究均假设敌手的泄露是来自收到挑战密文之前,并禁止敌手在挑战后进行泄露操作.然而,在现实中敌手往往是接触到密文数据后会通过各种手段获取相应密钥的泄露信息,因此挑战后的泄露容忍性更符合实际环境的真实应用需求.针对上述不足,本文将对身份基加密(identity-based encryption, IBE)机制的挑战后泄露容忍性展开研究,提出IBE机制熵泄露容忍性的属性要求和安全性定义;并在状态分离模型中联合熵泄露容忍的IBE机制和二源提取器设计抗挑战后泄露攻击的IBE机制,对上述构造在选择明文攻击下的安全性进行了形式化证明.此外,为了获得具有更优安全性的IBE机制,在上述构造的基础上,通过增加消息验证码设计选择密文攻击安全的挑战后泄露容忍的IBE机制.

关键词 挑战后泄露容忍性; 身份基哈希证明系统; 身份基加密机制; 熵泄露容忍性; after-the-fact leakage resilience; identity-based hash proof system; identity-based encryption; entropic leakage resilience;

摘要 国密SM2密码算法已经成为保障我国网络信息系统安全自主可控的关键技术.然而近期研究发现, SM2加密算法在实际部署应用时面临高效的算法替换攻击.该种攻击可以从当前的密文预测下一次加密所使用的随机数,从而可以在不知道解密密钥的情况下成功解密后续密文.密码逆向防火墙技术已被证实可以有效抵抗该种攻击,但其要求密文具有可重随机性,与SM2加密算法本身所具备的CCA (chosen-ciphertext attack)安全性相冲突.针对该问题,本文改进SM2加密算法,构造了具有RCCA (可重放CCA)安全性的公钥加密方案.该方案具有与SM2加密算法近似的安全性,且同时支持密文重随机操作,因此可以有效兼容密码逆向防火墙.方案的设计遵循Phan等提出的OAEP三轮构造范式,结合SM2加密算法进行改进,并在随机预言机模型下给出了严谨的安全证明.本文提出了首个基于国密算法的可重随机RCCA公钥加密方案,研究结果有助于提升SM2密码算法在实际应用中的安全性.

关键词 SM2; 加密算法; RCCA; 可重随机性; 密码逆向防火墙; SM2; encryption; RCCA; rerandomizability; cryptographic reverse firewall;

摘要 近期发布的ChatGPT和GPT-4等大型语言模型,不仅能高质量完成自然语言生成任务,生成流畅通顺,贴合人类需求的语言,而且具备以生成式框架完成各种开放域自然语言理解任务的能力.在少样本、零样本场景下,大模型可取得接近乃至达到传统监督学习方法的性能,且具有较强的领域泛化性,从而对传统自然语言核心任务产生了巨大的冲击和影响.本文就大模型对自然语言处理的影响进行了详细的调研和分析,试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇,探讨大模型将加强哪些自然语言处理共性问题的研究热度,展望大模型和自然语言处理技术的未来发展趋势和应用.分析结果表明,大模型时代的自然语言处理依然大有可为.我们不仅可以将大模型作为研究方法和手段,学习、借鉴大型语言模型的特点和优势,变革自然语言处理的主流研究范式,对分散独立的自然语言处理任务进行整合,进一步提升自然语言核心任务的能力;还可就可解释性、公平性、安全性、信息准确性等共性问题开展深入研究,促进大模型能力和服务质量的提升.未来,以大模型作为基座,拓展其感知、计算、推理、交互和控制能力,自然语言处理技术将进一步助力通用人工智能的发展,促进各行各业的生产力进步,更好地为人类社会服务.

关键词 ChatGPT; 对话式大模型; 大型语言模型; 自然语言处理; 通用人工智能; chat generative pre-trained transformer; large language models; natural language processing; artificial general intelligence

摘要 神经网络在方面级情感分类任务上已经取得了良好的性能.然而,由于复杂且耗时的数据标注流程,方面级情感分类在很多领域上是低资源甚至是零资源的,这限制了该任务在实际场景中的应用.为了解决这个挑战性的问题,本文关注跨领域的方面级情感分类,并提出一种基于语法和语义分割的跨领域方面情感分类方法.具体而言,针对不同领域用词差异造成的领域漂移和注意力泛化问题,本文首次提出利用单纯的语法信息来获取可在领域之间迁移的语法注意力,并引入与目标领域相近的文档情感分类任务来增强神经网络模型对目标领域的情感识别能力,最终从语法和语义两个层面分别提升模型的注意力机制和文本上下文表示.实验在6个跨领域方面级情感分类任务上进行,结果表明,与其他9种基线方法相比,本文的方法在6个任务上都取得了最先进的性能,在平均准确率和平均macro-F1两个指标上比之前最好的模型DIFD分别提升7.14%和7.6%.此外,即使以大规模预训练模型BERT, BERT-ADA, RoBERTa等作为骨干网络,本文的方法仍能实现3.5%以上的平均准确率提升和平均macro-F1提升.

关键词 方面级情感分类; 跨领域; 神经网络; 注意力; 语法和语义; aspect-level sentiment classification; cross-domain; neural network; attention; syntax and semantics;

摘要 动态网络链路预测是目前复杂网络的热点研究方向,网络表示学习可以有效学习到节点的相似性,从而为链路预测提供基础.现有的动态网络表示学习方法大多先将动态网络进行离散窗口化,然后在静态网络快照图上建模,这样很难有效处理具有细粒度时间特性的动态网络.本文提出了一种可以学习动态网络中复杂的时间特性的链路预测模型,该模型使用连续时间事件序列表示动态网络,对网络中的连续时间信息和结构演化特征进行学习,并提出了基于时间注意力的信息传递机制来模拟网络中信息的扩散与聚合,最后将链路预测转化为分类问题.实验在4个真实动态网络数据集以及模拟网络上进行,并以ap和auc作为评价指标.真实网络实验结果证明该模型能够较好地学习网络演化的连续性,得到更有效的节点表示,从而提升了链路预测效果.模拟网络的实验结果表明链路预测的效果和网络模型相关,但本文模型仍可以获得较好的预测效果.

关键词 链路预测; 连续时间; 动态网络; 表示学习; 复杂网络; link prediction; continuous time; dynamic network; representation learning; complex network;

摘要 在开源社区GitHub,开发者通过提交拉取请求向开源项目贡献代码.一些拉取请求可能与用户发布的问题存在链接关系,表明该拉取请求希望解决这些问题.维护拉取请求和问题之间的链接关系可以增强项目的可追溯性.然而,目前链接关系由用户人工建立.由于拉取请求和问题数量太多,人工建立链接不仅耗时费力,还可能存在遗漏.针对上述问题,本文提出一种链接建立方法 LinkFinder,通过模板过滤减少正文模板内容高度同质化的影响,从拉取请求和问题中提取语义特征和统计特征,使用深度神经网络构建匹配度计算拉取请求和问题的匹配度,得到链接问题推荐列表.本文从5个开源项目中收集了25411条链接.实验结果表明, LinkFinder的MAP达到0.434～0.774, MRR达到0.436～0.774, Top-1精确率达到0.344～0.702, Top-1召回率达到0.333～0.698, Top-1 F1分数达到0.338～0.700;相比对比方法 T-BERT, LinkFinder的MAP提升了9.01%～186.63%, MRR提升了8.86%～183.50%, Top-1精确率提升了20.21%～388.54%, Top-1召回率提升了20.34%～386.52%, Top-1F1分数提升了20.27%～389.13%.为了分析链接的价值,本文设计基于链接问题参与度的评审人推荐方法.实验结果表明,相比对比方法 RevFinder,引入候选评审人对链接问题的参与度排序对4个项目的MAP提升幅度达到3.11%～41.20%, MRR提升幅度达到2.45%～49.26%.

关键词 GitHub; 拉取请求; 问题; 链接建立; 评审人推荐; pull request; issue; link establishment; reviewer recommendation

摘要 人机物融合的新兴领域需要新型操作系统内核以支持泛在计算,对下管控海量异构硬件,对上服务动态多变应用场景.本文提出一种积木式内核架构BrickOS,可以根据使用场景灵活选择要加入内核的系统组件,同时可以选择将系统组件运行在用户态以提供较好的安全性,或者运行在共享地址空间的内核态中以提升性能.为了保障运行在相同地址空间中的系统组件的安全性, BrickOS为底层硬件的内存保护机制提供了统一的抽象,并将其用于单地址空间的内存隔离.测试结果表明BrickOS可以根据不同场景生成定制化内核,并拥有较低的进程间通信(inter-process call, IPC)开销,整体性能良好.

关键词 操作系统内核; 组件编排; 进程间通信; 内存隔离; operating system kernel; components arrangement; inter-process communication; memory isolation

摘要 人机物融合泛在计算的新场景和新模式,需要新型的操作系统,即泛在操作系统.存储管理作为泛在操作系统的一项核心功能,设计轻量化、高性能和动态可适配的存储系统是推进泛在操作系统发展的必要举措.然而,对于“端(终端设备)–边(边缘端)–云(云端)”泛在场景中普遍存在的结构化数据,传统存储解决方案存在I/O放大严重、系统体量过大和软件栈冗余等问题,难以满足泛在应用的需求.为此,本文从系统全栈的角度进行原创性探索,提出原生表存储系统.本文首先回顾了计算机系统的发展历史;之后分析泛在计算时代的新需求,总结出泛在操作系统的基本形态,并介绍最新研究成果;然后剖析了现有结构化存储方案在“端–边–云”场景下面临的挑战;进一步提出面向泛在操作系统的原生表存储系统,并从端侧和边/云侧两个场景深入分析其架构优势.最后,总结全文并展望未来发展趋势.

关键词 泛在计算; 泛在操作系统; 原生表存储; 软件栈; 端-边-云; ubiquitous computing; ubiquitous operating system; native table storage; software stack; end-edge-cloud

摘要 巨型星座是未来天基系统的一个重要发展方向.本文基于巨型星座核心共性需求以及对桌面、物联网、车联网、卫星等典型应用场景操作系统发展历程的研判,分析了应用场景需求与操作系统间的演化规律,提出了我国发展完全自主可控星云操作系统的构想和技术途径,包括架构定义、硬件载体、内核设计、安全可信,以及生态建设等方面,以满足巨型星座复杂应用场景的需求.

关键词 巨型星座; 星云操作系统; 共性需求; 应用场景; 发展思路; mega-constellation; China satellite cloud operating system; common requirements; application scenario; development research

摘要 软件开发作为人类当代独特的智力活动,经历了从作坊式的个体创作到工业化群体大生产,再由工业化群体大生产回归大规模群体创作的历史转变,产生了工程范式与开源范式两次变革.工程范式聚焦线性的确定性问题的软件开发,几乎放弃对不确定性问题的关注.开源范式全面拥抱不确定性,但对结果不做确定性承诺.本文面向软件定义一切的新时代,系统总结两次软件开发范式变革的核心规律,结合我们长期的研究与实践,提出软件开发群智范式,采用“群体智能”为本源的科学观、“宏观演化、微观求精”的核心理念,以及“两个联接、一个转化”的方法论,重新认识软件开发活动,为人机物三元共融的群智软件开发提供指导.

关键词 软件开发; 范式变革; 工程范式; 开源范式; 群智范式; software development; paradigm shifting; engineering paradigm; open source paradigm; crowd intelligence paradigm;

摘要 AdvSce是一个面向自动驾驶系统的安全关键场景生成工具,能够在给定初始场景的基础上,以添加额外交通参与者的方式,生成挑战自动驾驶系统控制车辆(主车)安全性的扰动场景,用于自动驾驶系统的仿真测试.不同于既往研究中,首先确定场景参数空间,再使用黑盒优化算法生成安全关键场景的工具或方法, AdvSce可以基于对主车行为的分析,在场景生成过程中动态地构造能够挑战主车安全性的场景参数空间,从而实现高度自动化且高效的安全关键场景生成.我们使用AdvSce在LGSVL仿真器中生成了面向Apollo 7.0自动驾驶系统的测试场景.结果表明,相比现有的安全关键场景生成工具, AdvSce具有更高的安全问题场景生成效率.

关键词 自动驾驶系统; 仿真测试; 安全关键场景生成; 基于搜索的优化; 行为序列提取; autonomous driving system; simulation-based testing; safety-critical scenario generation; searchbased optimization; behavioral sequence extraction;