关键词 方面级情感分析; 跨域迁移; 多阶段渐进式; 语言模型; aspect-based sentiment analysis; cross-domain application; multi-stages and progressive; language model

摘要 当今机器学习(machine learning)能够针对给定任务通过数据训练并构建机器学习模型,使模型获得在相应任务上的预测和决策能力,可归纳为任务驱动的机器学习.现有方法依赖于外界人工引导,并基于经验对学习过程进行数据与任务指定、模型设定与参数学习,在真实动态开放环境中,无法像人类一样自主学习.本文提出自主机器学习(autonomous machine learning)的新概念.具体而言,本文将自主机器学习设计为一个由自我驱动、具有动态自主演化的学习过程,包括自主优化和自主演化.首先能够主动探索感知环境进行数据自选择、模型自适应、任务自切换,而不需要人工干预;同时,根据环境学习的反馈结果和自我状态进行动态自主演化学习,进一步提升自我.此外,本文还展示了一些自主机器学习的应用案例,最后讨论了未来的研究方向.我们期望自主机器学习可以使机器进行像人类一样的自主学习,并为通用人工智能提供一个新视角.

关键词 自主机器学习; 自我优化; 自主演化; autonomous machine learning; self-optimization; self-evolution

摘要 机器学习模型关于自身预测的不确定性估计在实际应用中十分重要,但当前的深度模型常面临输出置信度校准性能不佳的问题.为解决这一局限,研究人员提出了训练时刻校准(train-time calibration)和后校准(post-hoc calibration)两类方法,分别在训练过程中、训练结束后对模型进行校准操作.不同于以往研究,本文旨在探究深度神经网络的置信度可校准性,即模型在训练结束后进一步利用后校准方法提升其不确定性估计的能力.基于这一新视角,我们首先发现尽管现有训练时刻校准方法能在一定程度上提升校准性能,但这类方法往往会损害模型的置信度可校准性,进而难以利用后校准方法 (如温度缩放)提升模型不确定性估计表现.其次,我们针对参数衰减正则化这一被普遍采用的深度模型训练策略进行了系统性实验分析,并从模型隐含层特征可校准性的视角展开分析,发现上述方法在训练过程中对特征的“过度压缩”是损害置信度可校准性的原因.最后,受上述实验现象的启发,本文提出一种新型训练策略,通过对深度模型进行逐层剥离式训练,能够有效避免过度压缩现象对于置信度可校准性的损害,实验结果表明该方法能够在保证泛化性能的同时有效提升深度模型的置信度可校准性.

关键词 深度神经网络; 不确定性估计; 置信度校准; deep neural networks; uncertainty estimation; confidence calibration

摘要 对于部署在开放环境中的机器学习模型,具备检测来自分布外(out-of-distribution, OOD)数据的能力至关重要.小样本分布外检测(few-shot OOD detection, FSOD),旨在从少量训练样本中快速学习辨识分布内(in-distribution, ID)样本和OOD数据的能力,近年来受到了广泛关注.先进的FSOD方法通过对预训练多模态大模型进行提示学习以快速挖掘判别性类别知识,提升OOD检测水平.尽管如此,此类方法从“干净”训练样本中学得的模型在面对存在背景噪声的测试样本时鲁棒性较差,容易将带有背景噪声的ID数据错误地识别为OOD数据,反之亦然.为了解决此问题,本文提出一种基于临界噪声增强的小样本分布外检测方法 (near-boundary noise improved FSOD, NNI-FSOD).在训练阶段, NNI-FSOD借助多模态大模型强大的视觉–文本对齐能力,将训练样本中的图片区域划分为干净区域和噪声区域,并将噪声区域“变废为宝”用于紧致ID类别分布空间,提升OOD检测水平.在测试阶段, NNI-FSOD促使视觉–文本类别原型知识“优势互补”,以进一步提升ID分类和OOD检测性能.在多个数据集上的实验结果证明了NNI-FSOD的突出优势:平均而言, NNI-FSOD将基线方法的FPR95提升了11.05%, AUROC提升了2.24%, ID ACC提升了1.87%,最终超越先前最优方法取得最佳性能.

关键词 机器学习; 小样本学习; 分布外预测; 提示学习; machine learning; few-shot learning; out-of-distribution detection; prompt learning

摘要 香农(Shannon)早在20世纪中期提出了语法、语义、语用3个层面表达信息,但当时对语义没有找到很好的数学刻画方法,导致目前信息技术一直在语法层面表示信息.信息技术停留在信号的感知、传输和处理层面,缺乏对信号内容直接获取、传输和处理的理论方法.从信号到内容始终存在语义鸿沟.信号语义和内容至今还没有完好的数学表示,导致难以跨越语义鸿沟,更谈不上语义信息处理.如何跨越这个鸿沟,一直是计算、信息和智能领域共同研究的课题.当今社会进入智能时代,人机共处场景已经来临.特别是当前随着语义通信和智能方法和技术兴起,如何让智能机器理解好信号内容是智能科技中的关键.很多学者和研发人员对语义信息产生了浓厚的兴趣.但从专业角度出发,当前有关语义信息的概念非常不清晰,没有建立统一公认的语义信息定义和刻画,甚至有错误的观点,更没有对信号内容的数学刻画.本文讨论了信息的内涵,对语义信息的基本概念、产生物理过程、数学刻画和一致性度量等进行了论述,提出了基于语义信息信号内容的数学刻画方法,给出语义信息内容保真的超高倍信号压缩编码方法以及编码实验对比.以此形成语义信息处理理论基础,推动智能通信和人工智能技术发展.

关键词 语义信息; 信号内容; 语义通信; 信号超高倍压缩; 智能语义处理; semantic information; signal content; semantic communication; ultra-high compression of signals; intelligent semantic processing

摘要 说服是人类交互过程中的重要能力,赋予人机对话交互系统强大的说服能力,可以实现对交互过程中话题走向和主观逻辑的有效控制,促进人机交互系统进一步智能化.现有说服性人机对话交互研究缺乏对说服机理层面的建模,且仅关注于一对一的简单说服场景,难以适应复杂且更具有普适性的群体说服场景.鉴于此,本文提出“群智说服对话”的概念,利用多个角色各异的说服智能体,从不同的话题角度,结合多样化的群体说服策略,协同配合以高效完成说服任务.首先,本文从认知心理学基础理论出发,总结归纳可以有效改变说服者心理认知的群智说服对话策略.其次,对复杂群智交互场景下的说服过程进行深度剖析,建立面向复杂说服场景的通用群智说服对话系统架构,实现对群智说服对话场景的深入理解和全面建模.然后,本文对群智说服对话领域的研究挑战和关键技术进行了阐述和讨论.最后,介绍本文在这方面的研究实践.

关键词 群智说服对话; 说服策略; 群智能体; 认知心理学; crowd intelligence persuasive dialogue; persuasive strategies; crowd intelligence agents; cognitive psychology

关键词 图聚类模型; 平凡解; 快速聚类; 离散优化; 块坐标下降法; graph clustering model; trivial solution; fast clustering; discrete optimization; block coordinate descent method

关键词 强化学习; 多智能体系统; 多智能体协作; 开放环境机器学习; 开放环境多智能体协作; reinforcement learning; multi-agent system; multi-agent coordination; open environment machine learning; open environment multi-agent coordination

摘要 作为一种智能化软件形态,融合了神经网络和符号规则的神经符号系统正受到越来越多的关注,相关研究爆炸性增长.然而,现有技术仍然难以有效支持较大规模神经符号系统“端到端”的自动构建.神经网络训练和符号规则学习过程中对非确定性的不兼容的处理方式是造成神经符号学习效果欠佳的一个关键因素.本文旨在以非确定性管理的新视角,较为系统、一致、严谨地讨论分析“端到端”神经符号学习的技术挑战,并以此视角整理讨论相关工作的思路、进展和当前仍然存在的问题.在此基础上,展望下一步的发展方向.

关键词 神经符号学习; 神经符号接地; 推理捷径; 符号约束合成; neuro-symbolic learning, neural symbol grounding, reasoning shortcuts, constraint synthesis

摘要 围绕国家自然科学基金委信息科学部人工智能学科(F06) 2018～2023年青年科学基金项目、地区科学基金项目、优秀青年科学基金项目以及国家杰出青年科学基金项目等人才项目的申请及资助情况,从学科领域分布、申请年龄性别、依托单位分布以及依托单位变更情况等角度进行了分析,为人工智能领域的人才队伍建设、学科发展布局提供参考.

关键词 国家自然科学基金; 人工智能学科; F06代码; 人才项目; 申请与资助; national natural science foundation; artificial intelligence discipline; F06; talent funding; application and funding

摘要 无监督学习不需要对训练数据进行人工标注,在硬件系统的图像分类应用中具有重要价值.现有忆阻脉冲神经网络(memristive spiking neural network, MSNN)的无监督学习主要集中于前后神经元之间的突触调节过程,这导致学习仅限于局部神经活动而忽略了神经反应之间的内部联系.联想记忆是大脑实现记忆的重要方式,其通过无监督方式将不同刺激关联起来以建立互联的网络记忆.同时,人类视觉系统利用注意机制从海量信息中选择重要信息,以有效减少输入神经元的数量和神经网络的规模.本文提出了一种基于注意力的联想忆阻脉冲神经网络(attention-based associative memristive spiking neural network, AAMSNN)的全电路设计,并将其应用于无监督图像分类应用.其中,注意力编码模块和注意力选择模块启发于人脑的注意力机制,用于搜索并选择重要特征信息,减少AAMSNN的输入神经元数量.联想忆阻脉冲神经网络由巴甫洛夫联想忆阻交叉阵列构成,通过调节联想记忆权重实现无监督图像分类.与其他MSNN相比, AAMSNN具有更小的MSNN规模和更少的忆阻器数量,并实现了更优的无监督图像分类准确率.

关键词 忆阻脉冲神经网络; 注意力; 联想记忆; 无监督学习; 图像分类; memristive spiking neural network; attention; associative memory; unsupervised learning; image classification

摘要 数据定价有助于释放数据的价值,并为数据交易提供依据,推动数据市场的发展和创新.目前,数据价值具有不确定性、多样性和制约性等问题,如何对数据进行准确的价值评估是数据定价的首要问题.在此背景下,本文提出的方法可以有效地解决数据定价的不确定性和多样性问题.本文构建了基于数据质量和容量的二元非线性集成效用函数来评估数据价值,融合斯塔克伯格(Stackelberg)博弈模型分析参与者行为,利用KKT算法实现了数据产品的最优定价.研究发现原始数据的最优容量、最优质量、最优价格和数据产品提供商利润与单位购买成本存在负相关关系,与消费者数量和消费者敏感程度存在正相关关系,且与消费者敏感程度的正相关关系更大.通过与基于一元效用函数的定价模型对比,进一步验证了本文所提出的考虑集成效用的数据产品定价模型具有显著的优越性.

关键词 数据定价; 数据产品; 数据交易; 集成效用; 斯塔克伯格博弈模型; data pricing; data products; data trading; integrated utility; Stackelberg game model

摘要 联邦学习能够在隐私保护的前提下联合多个参与者进行协同学习,然而经典的联邦学习不具备持续学习的能力,无法适应动态变化的应用场景.联邦持续学习近期引起了广泛的关注,其允许多个参与者在协同学习的同时进行持续学习.联邦持续学习是一种更加复杂的学习场景,其面临的挑战包括灾难性遗忘,异构性以及通信资源受限.为了应对这些挑战,本文提出一种基于原型学习的联邦持续学习方法.该方法利用原型进行知识的共享,提升通信效率的同时增强了对模型异构性的适应能力.此外,该方法设计了基于知识蒸馏和回放的灾难性遗忘的预防机制.本文提供了所提出方法的收敛性分析,并且通过对比实验和消融实验验证了该方法的有效性.

关键词 联邦持续学习; 原型学习; 知识蒸馏; 灾难性遗忘; 数据异构; federated continual learning; prototype learning; knowledge distillation; catastrophic forgetting; data heterogeneity

摘要 近年来,图神经网络在各个领域的图数据挖掘任务上取得了显著的成功,已成为领域的研究热点.图神经网络通过结构传播节点信息,并以此计算节点的表征,在大量应用场景上取得了显著的效果提升.大多数图神经网络模型遵循消息传递机制,直接将原始图数据作为输入,假设观测到的图结构准确地描述了节点之间完整的关系.然而,真实场景中图数据的产生往往受多种因素影响,包含大量随机噪声和人为扰动.这些噪声信息和干扰信息在图神经网络信息聚合的过程中随着图结构传播,对图表征质量产生严重的影响.如何度量、识别图数据中的噪声信息,是领域关注的热点问题之一.本文从信息论的角度出发,提出了一种非线性信息瓶颈指导的层次图结构学习方法 NIB-HGSL,针对图层级分类任务,为去除结构噪声、学习鲁棒的图表征提供了一个统一通用的框架. NIB-HGSL通过有效信息保留与噪声信息压缩的均衡优化,可以获得对下游任务来说最关键的层次化最小充分图.实验结果表明,本文所提出的NIB-HGSL方法与其他基线方法相比,可提高图分类和图回归任务的准确性和鲁棒性.

关键词 图表示学习; 信息瓶颈; 图结构学习; 图神经网络; 图分类; graph representation learning; information bottleneck; graph structure learning; graph neural networks; graph classification

摘要 多模态多目标问题需要求解多个全局或局部最优帕累托解集,找到这些最优解集具有极大的理论意义和实际经济效益.近年来,学者们提出许多进化算法用于解决该问题.然而,多数算法在进化过程中首先选择收敛性好的个体构建交配池,然后再考虑决策空间和目标空间的多样性.因此,决策空间中多样性好的个体可能被目标空间收敛性好的个体所替代.另外,由于帕累托最优子集在决策空间中有不同的形状和位置,因此个体很难均匀地收敛到每个帕累托子区域.本文提出了基于全局密度更新策略的两阶段多模态多目标进化算法.首先,为减轻交配池和亲本与子代一对一比较的负面影响,我们并不构建交配池,而是提出了新的算法框架,分两阶段寻优.该框架利用不同阶段进化算法的特征进行子代更新,有利于平衡种群的搜索和开发.然后,为了解决帕累托子集分布不均的问题,我们设计了目标空间密度自适应策略和全局密度估计更新种群策略,用于保持目标空间和决策空间种群多样性.我们将提出的算法与7种有代表性的多模态多目标算法进行比较.实验结果表明,我们的算法在决策空间中能找到更多等价的解,并且能更好地保持决策空间和目标空间多样性和收敛性的平衡,整体性能要好于所比较算法.

关键词 多目标进化算法; 多模态多目标优化问题; 进化算法; 全局密度; 参考向量; 边界点聚集; multi-objective evolutionary algorithm; multimodal multi-objective optimization problem; evolutionary algorithm; global density; reference vector; boundary point clustering

摘要 组合优化问题的求解是计算机科学、应用数学等学科共同研究的基础性问题.其固有的计算复杂性为精确求解带来了挑战.而采用深度神经网络进行求解已经成为一个前沿的研究方向.本文设计了一种能够求解正线性约束组合优化问题的非自回归式神经网络.本文方法的优势在于,正线性约束代表了一大类组合优化问题,突破了现有非自回归网络的通用性瓶颈;与目前常用的自回归网络相比,非自回归网络具有高效性、排列不变性等优势;在神经网络框架中,本文采用的离线无监督学习对标注的需求低,无需求解最优解进行监督训练;本文提出的在线可微分搜索方法显著提升了神经网络求解器的泛化能力.本文在设施布局、最大集合覆盖、旅行商问题等代表性的组合优化问题中验证了非自回归求解器的有效性.特别是在综合考虑求解效率和求解效果时,非自回归网络求解器持平甚至超越了SCIP, Gurobi等开源或者商用的主流传统求解软件.

关键词 组合优化; 深度学习; 非自回归网络; 图神经网络; 梯度优化; combinatorial optimization; deep learning; non-autoregressive neural network; graph neural network; gradient-based optimization

摘要 基于图的多视图聚类算法通过探索样本点之间的邻近关系,受到了广泛的关注.尽管在实际应用中已经取得了较好的聚类性能,但是观察到大多数算法只是利用一阶邻近关系去构建相似图,这导致信息探索不足和多视图数据表征能力下降.为了解决这个挑战,本文提出了一种新颖的基于高阶图融合的多视图聚类算法(high-order graph fusion for multi-view clustering, HCDMC).具体地,所提出的算法通过一种新颖的隐式权重学习策略,从每个视图对应的一阶和二阶邻近图中学习相应的高阶图.引入希尔伯特–施密特(Hilbert-Schmidt)独立性准则作为一种差异性正则化项,旨在加强一致性高阶图的互补信息.最后,对学习到的一致性高阶图施加连通性约束,直接得到聚类标签矩阵,无需任何后处理步骤.使用交替方向乘子法去解决模型的优化问题.在6个真实的数据集上进行了一系列的实验,相较于最新的算法,本文提出的算法具有更好的聚类性能.

关键词 多视图聚类; 高阶图; 图结构学习; 图融合; 差异性正则化; multi-view clustering; high-order graph; graph structure learning; graph fusion; diversity regularization

摘要 以GPT-4为代表的AI大模型时代正加速而至,深刻改变着社会生活的方方面面.大模型巨参数深度学习是破解复杂大数据智能学习瓶颈的一种有效途径.大模型在展现出强大学习能力的同时也面临着高能耗、大算力挑战.研究表明,平均一个AI大模型训练产生的能耗约等于五辆汽车一生排放的碳总量,驱动AI大模型所需算力每3.5个月翻一番.作为一种有益的补充,内嵌规律的跨尺度系统学习是破解复杂大数据智能学习瓶颈的另一种有效途径.跨尺度系统学习已经在某些专业领域展现出了巨大的成功,如2021年诺贝尔物理学奖授予复杂物理系统跨尺度建模及其在全球气候变暖中的应用.事实上,我国科学家甚至更早开拓了复杂系统跨尺度学习研究,如北京航空航天大学暗物质大数据分析团队利用跨尺度系统学习方法实现了在PB级数据中实时学习KB级关键数据,精度达到万分之一.本文从微观尺度、介观尺度和宏观尺度上分析了跨尺度系统学习的基本原理,构建了内嵌规律跨尺度系统学习的普适方法,并以社会大数据为例开展了典型应用示范.社会大数据跨尺度系统学习应用于疫情防控、舆情分析等领域,并取得显著成效,为我国社会治理数字化、网络化、智能化发展提供了新的成功样本.

关键词 人工智能; 大模型; 跨尺度系统学习; 社会大数据; 可解释性; artificial intelligence; large models; cross-scale systematic learning; social big data; interpretability

摘要 近年来,物理信息神经网络(physics-informed neural networks, PINNs)在求解非线性偏微分方程(partial differential equations, PDEs)中得到了大量应用. PINN将物理信息作为正则化约束加入神经网络损失函数,可以减少传统神经网络方法对训练数据的大量依赖.然而, PINN无法根据数据变化动态调整损失函数中各个损失项的权重,导致其在求解非线性PDEs时存在求解误差较大的问题.为此,本文提出了一种动态平衡物理信息神经网络(dynamic balanced PINN, DBPINN).首先,DBPINN为PINN损失函数的各个损失项设计了一种动态权重系数,并使用随机函数对该系数进行动态更新,能够显著提升PINN的精度.其次, DBPINN为PNNN损失函数的各个损失项之间建立了一种平衡求和方法,该方法考虑了所有损失项之间的竞争关系,使得PINN各损失项朝着有利于收敛的方向进行优化. DBPINN通过动态权重系数和平衡求和方法使得PINN可以更好地进行优化,进而解决了PINN在实际应用中求解误差较大的问题.本文选择了科学机器学习领域中4个经典的非线性PDEs对DBPINN进行了数值验证和分析.实验结果表明,相比于PINN, DBPINN在Schrodinger和Allen-Cahn方程上误差分别降低了46%和64%. DBPINN在求解Navier-Stokes方程时将系数λ1和λ2的误差分别降低了1～2个数量级和约50%. DBPINN在KdV方程中能够在多项系数中将误差降低1个数量级.最后,本文在多种形式的Burgers方程和Allen-Cahn方程上进行性能和参数消融验证,结果表明DBPINN不仅能够提升模型性能、处理小数据量以及拟合不同时间状态下的方程的能力,而且DBPINN相比于PINN具有更好的稳定性、准确率以及收敛性. DBPINN可以取代PINN被应用于各种非线性PDEs的高精度求解.

关键词 物理信息神经网络; 非线性偏微分方程; 动态权重系数; 平衡求和方法; 科学机器学习; physics-informed neural networks; nonlinear partial differential equations; dynamic weight coefficients; balanced summation method; scientific machine learning

摘要 人工智能技术作为试图研究、模仿、扩展人类智能的科学研究领域,自诞生以来就伴随着深刻的技术伦理争辩.随着近年来机器学习等相关工作的突破性进展和快速落地应用,伦理问题日趋显著并迫使学界和社会开始直面该技术的伦理治理挑战.尽管在伦理治理的规范研究上已取得初步进展,其治理实践落地方面依然困难重重,伦理实践表现出逐渐落后于技术发展需求的趋势.因此,建立与不断发展的人工智能技术相互匹配的伦理治理实践方案,实现治理理论和治理实践的良性互动将是人工智能领域未来发展的关键问题.伦理治理理论的抽象性导致了当下人工智能伦理原则难以落地实现,人工智能伦理计算(AI ethical computation)将是应对这一挑战的重要方案.本研究通过探讨现实必要性和发展可能性明确了伦理计算的重要意义,在相关研究基础上给出伦理计算的研究范畴,依据计算过程对伦理机理的认知程度和系统伦理决策的自主化程度进行划分,建立了伦理计算的高阶认知与低阶认知两类研究范式,并按其计算阶段抽象出伦理度量、伦理决策和伦理推理3个计算层次.该伦理计算框架能够对当前的伦理计算应用进行梳理,本文以伦理嵌入和公平机器学习为例说明了两类研究范式的研究特点和技术方法.在此基础上,进一步讨论构建了以伦理计算为核心的伦理治理体系,分析通过伦理计算化解伦理治理困境的可能方案,并对人工智能伦理计算的发展做出展望.

关键词 人工智能; 伦理问题; 伦理治理; 伦理计算; 伦理嵌入; 公平机器学习; artificial intelligence; ethics issues; ethical governance; ethical computation; ethical embedding; fair machine learning

摘要 高阶关联广泛存在于现实世界中,如社交网络、生物网络、交通网络等,建模及优化高阶关联对于网络属性研究和演化趋势预测具有重要意义.超图是一种灵活的数据结构,能够自然地建模高阶关联.近年来,随着深度学习的发展,基于超图建模的超图神经网络被广泛应用于面向高阶关联的表示学习.然而,现有的超图神经网络均基于直推学习范式,虽然在小规模超图数据集上取得了不错的效果,但难以应用到大规模数据上,限制了其应用范围.本文首先分析了现有超图神经网络方法在大规模数据上应用的挑战,然后针对该问题提出了面向大规模数据的高效超图神经网络方法 (efficient hypergraph neural network, EHGNN).针对现有方法空间、时间复杂度过高的问题, EHGNN分别设计了超图采样模块和基于单阶段超图卷积的计算加速模块,同时降低了超图神经网络的空间开销和时间开销,使得超图神经网络适用于大规模超图数据,显著增强了可扩展性.在4个真实超图数据集上的实验结果验证了EHGNN的有效性和高效性.

关键词 超图计算; 超图神经网络; 高阶关联; 大规模数据; 节点分类; hypergraph computation; hypergraph neural network; high-order correlation; large-scale data; vertex classification

摘要 随着数据量爆炸式增长、计算资源愈加丰富,浅层神经网络并不总能满足时代需求,从而导致深度神经网络的出现.深度神经网络的迅猛发展主要体现在应用领域,其理论研究相对匮乏.基于此,本文聚焦研究深度ReLU神经网络的万有一致性,具体内容包括:首先,是否存在一个具有统一结构的深度神经网络(即深度、宽度、激活函数等均已确定)使得该深度神经网络可以学习更多特征,并具有万有逼近性;其次,针对已确定的深度神经网络模型,证明其是强万有一致的;最后,从实验的角度验证理论结果的合理性.

关键词 深度神经网络; 万有一致性; 深度学习; ReLU 函数; 逼近性; deep neural networks; universal consistency; deep learning; ReLU function; approximation

摘要 半监督学习旨在数据标注缺乏的情形下利用无标注数据提升学习性能,是重要的机器学习范式.尽管不少研究报道表明半监督学习取得了优异的性能表现,然而其在面临诸多实践任务时仍存在伪标注质量判断困难、超参数选择敏感、理论指导缺乏等瓶颈.针对上述挑战,本文提出一种稳健选择伪标注的混合式半监督学习方法,通过综合利用模型预测结果之间的分歧自适应地判断伪标注质量,无需预设超参数,显著提升了半监督学习的稳健性.本文在理论上证明了新方法的错误率随训练轮数的增加而显著下降.实验验证了本文方法较主流技术取得了明显的性能提升,例如,相较于在CIFAR-10数据集中表现最优的半监督学习技术FixMatch,新方法的分类错误率下降了11%以上,在更具挑战的STL-10数据集中分类错误率下降了18.8%.

关键词 机器学习; 深度学习; 半监督学习; 伪标注; 稳健性; machine learning; deep learning; semi-supervised learning; pseudo-label; robust

摘要 近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些年,移动众包和网络爬虫这类经济廉价的数据收集方法被广泛采用,但他们不可避免地引入了错误标注,即标签噪声.鉴于深度神经网络强大的数据拟合能力,标签噪声的存在将造成算法的过拟合,严重制约了深度学习方法的泛化能力.针对标签噪声问题,现有研究大多显式或隐式地依赖锚点(明确属于某一类别的样本),然而在现实场景中锚点难以获取,这使得现有解决方案不再适用.为解决这一问题,本文创造性地将多类别标签噪声学习问题转化为混合比例估计(mixture proportion estimation, MPE)问题,构建了一种不依赖锚点的满足统计一致性的学习算法.本文的主要贡献包括:(1)对现有的仅适用于二组成物MPE场景的R-MPE(regrouping-MPE)方法进行推广,提出了多组成物场景下不依赖不可约假设的MPE方法 MR-MPE(multi-component oriented R-MPE);(2)理论上证明了多类别分类场景下标签噪声学习算法锚点假设和MPE问题不可约假设的等价性,并基于所提出的MR-MPE方法构建了不依赖锚点的满足统计一致性的算法.本文在合成噪声数据集和真实噪声数据集上分别与现有算法进行了对比实验,结果显示本文所提算法在多个数据集上均展现出了最优的性能;同时,在移除锚点的情况下,本文对算法的鲁棒性进行了测试,验证了所提算法不依赖锚点的特性.

关键词 混合比例估计; 多类别分类; 标签噪声学习; 锚点; 不可约假设; 统计一致性; mixture proportion estimation; multi-class classification; label-noise learning; anchor point; irreducible assumption; statistical consistency

摘要 决策树模型具有较强的可解释性,是随机森林、深度森林等机器学习方法的基础.如何选择节点的分割属性与分割值是决策树算法的关键问题,对树的泛化能力、深度、平衡程度等重要性能产生影响.传统属性选择准则的定义大多基于凹函数,使得决策树算法存在多值偏向问题,即倾向于选择取值种类多的属性作为节点分割属性.已有研究表明缓解随机一致性的评价准则能够降低分类偏差与类簇个数偏向.本文将基于标准化框架缓解基尼指数的随机一致性,以此缓解其多值偏向问题.通过人造数据集验证,标准基尼指数能够缓解基尼指数的多值偏向问题,并且选择出具有决策信息的属性.通过12个基准数据集与两个图像数据集的实验验证,基于标准基尼指数的决策树算法比现有缓解多值偏向的决策树算法具有较高的泛化性能.

关键词 基尼指数; 多值偏向; 决策树; 随机一致性; Gini index; bias to multi-value; decision tree; random consistency

摘要 当前面向标签噪声的鲁棒性学习通常依赖样本选择和标签修正两种策略,但是这两类方法均存在缺陷.基于样本选择的方法忽略了被过滤掉的样本中的有效信息,进而降低了模型的性能.基于标签修正的方法常使用自标签技术而引起模型的错误积累问题.对此,本文提出了一个集成样本选择、标签修正的联合训练框架.针对样本选择模块,本文设计了一种新的选择标准,通过在线选择的方法对所挑选的样本集合进行更新.相较于现有选择标准,本文提出的标准可保留更多边界样本,提升了模型对决策边界的学习性能,增强了模型的泛化性能.针对标签修正模块,本文提出了一种联合标签修正策略.相比于传统的自标签修正技术,该模块通过联合特征空间视角,对噪声样本进行多视角的标签修正,解决了传统自标签技术的错误累积问题.此外,本文引入对比学习正则化项,提升了标签修正效果和模型表征学习能力.本文方法在4个测试基准上取得了当前最好分类效果,验证了所提训练框架的有效性.

关键词 标签噪声学习; 样本选择; 标签修正; 对比学习; learning with noisy labels; sample selection; label correction; contrastive learning