关键词 机器翻译; 深度神经网络; 深度学习; 标记分布学习; 人工智能领域;

摘要 分层分类是一种利用数据类别间层次结构关系进行分类的任务,可以高效地组织和处理大规模数据.近些年来,在这个受到越来越多关注的领域中涌现出许多重要的工作.本文介绍分层分类的定义,并按照不同种类的问题解决策略,对大规模分层分类任务中的几个基本问题的研究进行总结.首先,给出层次结构的形式化定义.其次,分别阐述如何设计分层评价指标、如何构建层次结构、如何利用层次结构信息进行特征选择、如何利用层次结构信息训练分类器以及如何面向层次结构设计停止机制,并介绍具有代表性的相关工作.最后,对大规模分层分类任务进行总结,并展望未来可能的研究方向.

关键词 分层学习; 层次结构构建; 分层分类器学习; 分层分类停止机制; 分层特征选择; 分类; hierarchical classification; hierarchy construction; hierarchical classifier learning; hierarchical stopping strategy; hierarchical feature selection; classification;

摘要 深度学习近年来取得了突出进展,然而,深度学习模型需要占用大量的与计算相关的资源,同时其学习过程需要大量的数据与标记,因此目前深度学习领域的一个热点是降低其对计算和数据资源的渴求,即研究资源受限的深度学习.本文首先分析深度学习对资源的渴求及其导致的挑战,然后分别从数据、标记、计算资源受限3个方面对目前的研究进展简要描述,并以我们在计算机视觉领域的研究实践为例进行较详细的介绍.

关键词 深度学习; 资源受限; 数据资源; 标记资源; 计算资源; deep learning; resource constraints; data resources; label resources; computation resources;

摘要 近年来,深度神经网络,亦被称为深度学习,在机器学习方法主导的各个领域都取得了重大的突破.虽然经过训练的深度神经网络具有卓越的性能,但是整个训练过程却十分耗时,即使借助高性能计算设备,也需要数日甚至数周的训练时间.概念器作为回音状态网络的延续和发展,可以理解为描述神经动态活动模式的过滤器,是一个强大的时序数据处理工具.为了解决上述问题,基于对原始概念器模型的改进,本文在深度神经网络的非迭代方法和迁移学习两个方面分别做了一些工作.具体来说,(1)提出了针对非时序数据的概念器分类器,并在此基础上提出了一种非迭代方法前馈卷积概念器神经网络,通过在MNIST变集数据集上的实验测试了前馈卷积概念器神经网络的分类性能,不仅达到了同类方法的最高水平,而且极大地降低了训练时间;(2)提出了一种基于概念器的快速概念器分类器,在数据集Caltech-101和Caltech-256上,测试了快速概念器分类器结合预训练且不再微调的深度神经网络的表现,不仅在性能上超越了同类方法的最高水平,而且训练时间平均减少到原有的1/60.

关键词 概念器; 图像分类; 深度神经网络; 迁移学习; 非迭代方法; conceptor; image classification; deep neural networks; transfer learning; non-iterative methods;

摘要 本文主要介绍了标记分布学习和标记增强的相关概念及算法.标记分布学习是一种新型机器学习范式,传统的单标记和多标记学习都可以看做是该范式的特例.标记分布学习将不同标记对示例的重要程度用标记分布来显式刻画,已经在多个应用领域中取得很好的效果.然而,现有的多数数据集中却仅具有简单的逻辑标记而非完整的标记分布,因此无法直接应用标记分布学习.为解决这一问题,可以通过挖掘训练集中蕴含的标记重要性信息,恢复出每个示例的标记分布.我们将原始逻辑标记提升为标记分布的过程定义为标记增强.本文给出了标记分布学习和标记增强的形式化定义,介绍了典型标记分布学习和标记增强算法,并对这些算法进行了分析讨论.

关键词 标记分布; 标记分布学习; 标记增强; 多标记学习; 标记多义性; label distribution; label distribution learning; label enhancement; multi-label learning; learning with ambiguity;

摘要 场景文字检测与识别是一种通用文字识别技术,已成为近年来计算机视觉与文档分析领域的热点研究方向.其被广泛应用于地理定位、车牌识别、无人驾驶等领域.相对于传统的文档文字检测和识别,场景文字在字体、尺度、排布、背景等方面变化更加剧烈,深度学习技术也由于卓越的性能成为该领域的主流方法.本文主要回顾了作者基于深度学习在此领域取得的代表性成果,并对此领域未来研究趋势进行了展望.

关键词 深度学习; 场景文字; 文字检测; 文字识别; 计算机视觉; deep learning; scene text; text detection; text recognition; computer vision;

摘要 行人重识别是实现跨摄像机场景大范围追踪行人的关键技术,利用该技术可以把行人的碎片化多场景轨迹连接起来.本文首先回顾了行人重识别的发展,列举了目前行人重识别研究的主要难点和挑战.然后进一步介绍了作者所在研究团队针对行人重识别发展的非对称度量学习理论,及基于非对称度量理论和思想所开展的面向开放性行人重识别的非对称行人重识别建模.与现有用于行人重识别的度量学习算法相比,现有算法通常忽略了摄像机特征变化的特性,而非对称度量的优点是可以学习具备建模不同视域特点非一致性能力的特征变换.非对称建模除了应用在一般的行人重识别问题上,还可以应用在跨模态行人重识别、低分辨率行人重识别、基于属性与图像匹配的行人重识别、无监督行人重识别和不完整行人重识别等问题上.最后,本文讨论了行人重识别未来的发展.

关键词 视频监控; 行人重识别; 行人跨视域追踪; 度量学习; 非对称; visual surveillance; person re-identification; cross-view person tracking; distance metric learning; asymmetric modelling;

摘要 在进行跨语言自然语言处理时,缺少双语资源是非常棘手的问题,而这在语言资源匮乏的场景下是非常普遍的.此时,利用好非平行语料中蕴含的翻译知识变得更为重要.由于语料不平行,从中获取翻译知识意味着小数据、无监督学习,因此极具挑战,而取得的结果通常是双语词典的形式.这既是人工智能领域重要的学术问题,也在语言资源匮乏场景有着巨大的应用价值.本文针对前人研究中存在的问题,介绍一系列工作,从各个角度探索如何更好地利用非平行语料构建双语词典.

关键词 双语词典构建; 非平行语料; 双语词向量; 跨语言自然语言处理; 人工智能; bilingual lexicon induction; non-parallel corpora; bilingual word embeddings; cross-lingual natural language processing; artificial intelligence;

摘要 神经机器翻译是近几年出现并快速发展的一种深度学习驱动的新型机器翻译模式,目前已成为机器翻译学术和工业界广为接受的主流技术.本文总结了我们在神经机器翻译方面的工作,特别是在各种信息和知识约束条件下提出的一系列神经机器翻译模型和方法,具体包括隐变量约束的变分神经机器翻译模型、单词与短语级统计机器翻译译文推荐与约束模型、源端句法结构约束模型.除此之外,本文也对神经机器翻译未来发展进行了初步思考和展望.

关键词 神经机器翻译; 变分神经机器翻译; 神经机器翻译与统计机器翻译融合; 句法约束的神经机器翻译; neural machine translation; variational neural machine translation; fusion of neural and statistical machine translation; neural machine translation with syntactical constraints;

摘要 近年来,"脑科学计划"吸引了各国政府和公众的广泛关注.脑影像技术是研究脑科学的重要工具之一,然而由于脑影像数据所固有的高维度、多模态、异构和时变等特性,对其进行快速有效分析是当前研究的热点之一.在本文中,首先简要介绍脑影像分析的基本方法,接着回顾作者及其团队近几年在多模态影像数据融合、脑网络构建及其分析、脑影像基因关联分析、脑影像校准等方面的工作,并重点介绍在脑疾病早期诊断以及脑解码领域的应用.

关键词 脑科学计划; 脑影像; 脑疾病诊断; 脑解码; 多模态; brain research project; brain image; brain disease diagnose; brain decoding; multi-modality;