控制 人工智能系统 论文 Website Google Scholar

非完全信息下人机合作对抗博弈专题

基于MASAC的无人机集群对抗博弈方法

MASAC-based confrontation game method of UAV clusters

王尔申, 刘帆, 宏晨, 郭靖, 何宁, 赵琳, 薛健
中国科学: 信息科学, 2022, 52(12): 2254-2269
摘要 随着无人机智能化水平的提高和集群控制技术的发展,无人机集群对抗智能决策方法将成为未来无人机作战的关键技术.无人机集群对抗学习环境具有维度高、非线性、信息有缺失、动作空间连续等复杂特点.近年来,以深度学习和强化学习为代表的人工智能技术取得了很大突破,深度强化学习在解决复杂环境下智能决策问题方面展现出了不俗能力.本文受多智能体集中式训练–分布式执行框架和最大化策略熵思想的启发,提出一种基于非完全信息的多智能体柔性行动器–评判器(multi-agent soft actor-critic, MASAC)深度强化学习方法,建立基于多智能体深度强化学习的无人机集群对抗博弈模型,构建连续空间多无人机作战环境,对红蓝双方无人机集群的非对称性对抗进行仿真实验,实验结果表明MASAC优于现有流行的多智能体深度强化学习方法,能使博弈双方收敛到收益更高的博弈均衡点.进一步对MASAC的收敛情况进行实验和分析,结果显示MASAC具有良好的收敛性和稳定性,能够保证MASAC在无人机集群对抗智能决策方面的实用性.
关键词 深度强化学习; 多智能体; 对抗博弈; MASAC; 无人机集群; deep reinforcement learning; multi-agent; confrontation game; MASAC; UAV clusters;

控制 人工智能系统 论文 Website Google Scholar

非完全信息下人机合作对抗博弈专题

非完备策略集下人机对抗空战决策方法

Human-computer gaming decision-making method in air combat under an incomplete strategy set

李守义, 陈谋, 王玉惠, 吴庆宪, 贺建良
中国科学: 信息科学, 2022, 52(12): 2239-2253
摘要 在真实的空战对抗环境中,不确定性广泛存在.本文考虑人机对抗场景中的空战决策问题,提出了一种非完备策略集下的博弈决策方法.首先,将对抗的无人机群和有人机群的动态博弈过程分解为不同的决策阶段,并将当前的决策阶段建模为一个零和博弈模型.所建模型考虑了有人机群的策略不完全可知的情形,并用一个不确定效用矩阵来描述这种非完备策略.随后,基于矩阵博弈中的最大最小策略概念,提出了非完备策略下博弈模型的求解方法,从而给出了无人机群的决策序列.最后通过仿真实验验证了所提方法的有效性.
关键词 无人机; 空战决策; 人机对抗; 非完备策略集; 博弈论; 最大最小策略; unmanned air vehicle(UAV); air combat decision-making; human-computer gaming; incomplete strategy set; game theory; maximum-minimum strategy;

控制 人工智能系统 论文 Website Google Scholar

非完全信息下人机合作对抗博弈专题

分层决策多机空战对抗方法

A hierarchical decision-making method for multi-aircraft air combat confrontation

王欢, 周旭, 邓亦敏, 刘小峰
中国科学: 信息科学, 2022, 52(12): 2225-2238
摘要 在空战研究领域,战术决策旨在提高博弈对抗收益,进而提升战机攻击效率.现有战术决策算法大多基于规则方法设计,当应用于多机空战的复杂环境时则存在设计难度大,难以求解最优解等问题.本文提出一种分层决策多机空战对抗方法,首先,在训练初始阶段借鉴已有人类专家经验,指导模型训练;其次,根据战术动作类型设计分层动作决策网络,降低动作决策空间维度;最后,将训练产生的对抗经验按阶段分解,降低策略学习难度.在多机空战仿真环境中进行了实验验证,相比于现有多机空战决策方法,本文提出的方法在训练收敛性和决策性能方面均具有更好的表现.
关键词 多机空战; 动作决策网络; 博弈; 分层强化学习; 决策收益; multi-aircraft air combat; action decision-making network; game; hierarchical reinforcement learning; decision gain;

控制 人工智能系统 论文 Website Google Scholar

非完全信息下人机合作对抗博弈专题

非完全信息下基于 PPO-CFR 的扩展式博弈决策

Extensive game decision based on the PPO-CFR algorithm under incomplete information

黄蕾, 朱进, 段福庆
中国科学: 信息科学, 2022, 52(12): 2178-2194
摘要 非完全信息下的人机对抗通常可以通过双人零和博弈模型加以描述,反事实后悔最小化(counterfactual regret minimization, CFR)是处理非完全信息双人零和博弈的一种流行算法.然而现有CFR及其变体算法在迭代过程中使用固定的后悔值计算和策略更新类型,在非完全信息扩展式博弈下表现各有优劣,泛化性能薄弱.针对这一问题,本文将强化学习近端策略优化(proximal policy optimization,PPO)算法与CFR算法相结合,提出一种PPO-CFR算法,通过训练出理性的智能体,从而实现CFR迭代过程后悔值计算和策略更新类型的自适应选择,以提高算法的泛化性能,并实现非完全信息扩展式博弈的策略优化.本文采用通用的扑克博弈实验验证所提算法,并制定逐步奖励函数训练智能体的动作策略,实验结果表明,与现有方法相比, PPO-CFR算法具有更好的泛化性能和更低的可利用度,迭代策略更为逼近纳什均衡策略.
关键词 非完全信息; 扩展式博弈; 反事实后悔最小化; 近端策略优化; 博弈决策; incomplete information; extensive game; counterfactual regret minimization; proximal policy optimization; game decision-making;

控制 人工智能系统 论文 Website Google Scholar

非完全信息下人机合作对抗博弈专题

非全时有效人类决策下的人机共享自主方法

Human-machine shared autonomy approach for non-full-time effective human decisions

游诗艺, 康宇, 赵云波, 张倩倩
中国科学: 信息科学, 2022, 52(12): 2165-2177
摘要 在人机共享自主中,人和智能机器以互补的能力共同完成实时控制任务,以实现双方单独控制无法达到的性能.现有的许多人机共享自主方法倾向于假设人的决策始终“有效”,即这些决策促进了任务的完成,且有效地反映了人类的真实意图.然而,在现实中,由于疲劳、分心等多种原因,人的决策会在一定程度上“无效”,不满足这些方法的基本假设,导致方法失效,进而导致任务失败.本文提出了一种新的基于深度强化学习的人机共享自主方法,使系统能够在人类决策长期无效的情况下完成正确的目标.具体来说,我们使用深度强化学习训练从系统状态和人类决策到决策价值的端到端映射,以显式判断人类决策是否无效.如果无效,机器将接管系统以获得更好的性能.我们将该方法应用于实时控制任务中,结果表明该方法能够及时、准确地判断人类决策的有效性,分配相应的控制权限,并最终提高了系统性能.
关键词 人机系统; 共享自主; 非全时有效决策; 深度强化学习; 仲裁; human-machine system; shared autonomy; non-full-time effective decision; deep reinforcement learning; arbitration;

控制 人工智能系统 论文 Website Google Scholar

具有学习和推理能力的空间无人系统智能架构

Intelligent architecture of space unmanned system with learning and reasoning capabilities

黄煌, 李谋, 刘磊, 汤亮, 刘昊, 谢心如, 刘乃龙, 魏春岭, 邢琰, 姜甜甜, 胡海东, 常亚菲, 胡勇, 杨孟飞
中国科学: 信息科学, 2022, 52(11): 2093-2105
摘要 以卫星、飞船、深空探测器为代表的航天器是一类典型的无人系统,经历了从自动化到自主化的不断发展.为提升航天器对未知空间环境和复杂空间任务的适应能力和智能自主水平,以空间无人系统为研究对象设计了具有学习和推理能力的无人系统智能架构,给出架构的组成及功能;接着分析该架构中学习和推理能力的运作机制,并针对架构所需的动作库和知识库的构建、更新与扩展方法等关键技术提出解决方案;最后通过地外星表巡视采样任务示例,具体说明在该智能架构下的新知识生成、基于知识的推理和自主执行任务的过程,以及过程中知识库、环境、任务和动作库之间的交互关系.
关键词 学习和推理能力; 空间无人系统; 智能架构; 动作库; 知识库; learning and reasoning capabilities; space unmanned system; intelligent architecture; action library; knowledge library;

控制 人工智能系统 论文 Website Google Scholar

基于强化学习的高速列车群运行调整方法

Rescheduling of high-speed trains: a reinforcement learning approach

代学武, 程丽娟, 崔东亮, 俞胜平, 袁志明, 应志鹏
中国科学: 信息科学, 2022, 52(5): 890-906
摘要 随着我国高速铁路建设成网,行车密度不断提高,在出现突发事件导致列车晚点时,行车调度的复杂性和难度急剧增加,如何动态调整列车群运行,以减少晚点,提高准点率是运行调整的核心.本文提出了一种适用于突发事件下高速列车群运行调整的无模型强化学习方法.首先将多个列车在多个车站和闭塞区间的运行调整建模为受约束的资源占用和配置的多阶段序贯决策过程,提出了基于动态时空拓扑矩阵的车站和区间统一化建模方法.针对高铁列车群时空关联强的特点,首次提出了一种包含车辆位置、路网资源等时空分布信息的强化学习状态空间、动作空间和回报函数,构建了有效的奖励反馈机制.然后,针对高铁运行系统搜索空间巨大的难点,提出了启发式动作子空间自适应生成方法,利用部分显式静态约束构建启发式规则减少搜索空间,有效减少了无模型强化学习的试错次数,提高了求解效率,也保留了无模型通用性好的优点.最后,基于京广高铁实际案例的仿真分析表明,在发生不同时空范围的大风限速,导致多车延误的事件下,所提出的算法均能较好收敛,明显减少列车群内晚点传播,与MILP, ACO, FCFS方法相比,列车群的平均晚点时间可减少2%～20%.
关键词 强化学习; 时空拓扑矩阵; 列车运行调整; FCFS算法; 优化; reinforcement learning; spatio-temporal topology matrix; train rescheduling; FCFS algorithm; optimization;

控制 人工智能系统 论文 Website Google Scholar

交互门控循环单元及其在到达时间估计中的应用

Interactive gated recurrent unit and its application for estimated time of arrival

孙翊文, 王宇璐, 傅昆, 王征, 张长水, 周东华, 叶杰平
中国科学: 信息科学, 2021, 51(5): 822-833
摘要 门控循环单元(gated recurrent unit, GRU)是一种有代表性的深度神经网络,它在众多序列学习任务中达到了国际领先的水平.然而,在门控循环单元的每个时间步之间,输入信息与隐含状态信息缺乏交互,这对更好地挖掘上下文语义信息带来了挑战.针对这个问题,本文提出了一个新颖的序列学习通用的语义特征提取模型:交互门控循环单元(interactive gated recurrent unit, InterGRU),可以让输入与隐含状态向量在各时间步间进行多轮充分的交互.并且,在到达时间估计(estimated time of arrival, ETA)这个有代表性、有挑战的时空序列预测任务上,本文提出了一套基于交互门控循环单元的深度学习框架(InterGRU-ETA).本文在来自滴滴出行平台真实场景下的海量数据集上充分地实验验证了InterGRU-ETA.结果表明,我们的框架在预测准确率上优于目前国际上最先进的方法.这反映了交互门控循环单元在捕获序列语义信息上的性能优势和广阔前景.
关键词 门控循环单元; 到达时间估计; 深度学习; 时空序列预测; 智能交通系统; gated recurrent unit; estimated time of arrival; deep learning; spatio-temporal forecasting; intelligent transportation systems;