基于强化学习的体系对抗仿真战役层次指控算法

计算机工程与科学

基于强化学习的体系对抗仿真战役层次指控算法

闫雪飞,李新明,刘东,刘德生,李强

（装备学院复杂电子系统仿真实验室，北京 101416）

收稿日期:2017-04-24 修回日期:2017-06-28 出版日期:2018-08-25 发布日期:2018-08-25
基金资助:
装备预研领域基金项目（61400010103）;重点实验室基础研究项目(DXZTJCZZ2015007)。

A RL-based command and control algorithm for

SoS confrontation simulation at the tactical level

YAN Xuefei,LI Xinming,LIU Dong,LIU Desheng，LI Qiang

(Laboratory of Science and Technology on Complex Electronic System Simulation,Equipment Academy,Beijing 101416,China)

Received:2017-04-24 Revised:2017-06-28 Online:2018-08-25 Published:2018-08-25

摘要/Abstract

摘要：

针对传统的认知决策技术无法有效应对体系对抗环境具有的不确定性、未知性以及复杂性问题，提出一种基于强化学习（RL）的体系对抗仿真战役层次指控算法。介绍了包含侦察类、打击类、通信类、补给类、修复类以及指控类Agent的UML体系架构，对自主开发的作战仿真原型系统及其作战想定进行了说明，在对战役层次指控Agent认知域描述与假设的基础上，对改进Qlearning认知决策算法的参数归一化、基于GRBF神经网络的Q离散、基于TD公式的跨步差分机制以及网络结构的学习训练过程进行了详细说明。最后，通过地空一体化联合体系对抗仿真验证了算法的有效性，并通过对算法的大量可视化回溯分析发现，一定程度的火力协调以及不间断的战术机动对于作战效能的提升以及毁伤的减免具有重要的意义。

关键词: 武器装备体系, 作战仿真, 强化学习, GRBF神经网络, 认知决策

Abstract:

Aiming at the problem that the traditional cognition techniques are not adaptive to the uncertainty and complexity in the Weapon SystemofSystems (WSoS) confrontation environment, a Command and Control (C2) algorithm based on Reinforcement Learning (RL) is proposed for the WSoS confrontation simulation at the tactical level. The UML architecture of WSoS that consists of a communication class, scouting class, attacking class, command class, supplying class and repairing class is designed and the battle simulation platform with the battle scenario is introduced. Then, based on the illustration and hypothesis for the command agent’s cognition problem, the parameter’s normalization, the discrete of the Q table based on GRBF neural network, the strip temporal difference mechanism and the learning process of the structure of the network are explained for the improved Qleaning cognition algorithm. Finally, the validation and effectiveness of the algorithm is proved through the battle simulation experiment of the airground unify confrontation SoS. Besides, through a lot of visualization recall analysis for the C2 algorithm, we found that the coordination of the firepower and the continuous tactical maneuver are important to the operational effectiveness and injure decrease.

Key words: weapon system-of-systems, battle simulation, reinforcement learning, GRBF neural network, cognition and decision

闫雪飞,李新明,刘东,刘德生,李强. 基于强化学习的体系对抗仿真战役层次指控算法[J]. 计算机工程与科学.

YAN Xuefei,LI Xinming,LIU Dong,LIU Desheng，LI Qiang.

A RL-based command and control algorithm for

SoS confrontation simulation at the tactical level

[J]. Computer Engineering & Science.

[1]	庄述鑫, 陈永红, 郝一行, 吴巍炜, 徐学永, 王万元. 对抗环境中基于种群多样性的鲁棒策略生成方法[J]. 计算机工程与科学, 2024, 46(06): 1081-1091.
[2]	曾凡锋, 王春真, 李琛. 基于深浅层特征融合的无监督视频摘要算法研究[J]. 计算机工程与科学, 2023, 45(09): 1602-1610.
[3]	王扬, 陈智斌. 一种求解CVRP的动态图转换模型[J]. 计算机工程与科学, 2023, 45(05): 859-868.
[4]	彭坤彦, 尹翔, 刘笑竹, 李恒宇. 基于粒子群优化和深度强化学习的策略搜索方法[J]. 计算机工程与科学, 2023, 45(04): 718-725.
[5]	童钊, 叶锋, 刘碧篮, 邓小妹, 梅晶, 刘宏. 移动边缘计算中多约束下的任务卸载和资源分配算法[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1869-1879.
[6]	蔡钺, 游进国, 丁家满. 基于近端策略优化与对抗学习的对话生成[J]. 计算机工程与科学, 2020, 42(09): 1680-1689.
[7]	官蕊, 丁家满, 贾连印, 游进国, 姜瑛, . 基于强化学习的多样性文档排序算法[J]. 计算机工程与科学, 2020, 42(09): 1697-1703.
[8]	韩虎, 孙天岳, 赵启涛. 引入自编码机制对抗网络的文本生成模型[J]. 计算机工程与科学, 2020, 42(09): 1704-1710.
[9]	周碧莹1，王爱平1，费长江2，虞万荣2，赵宝康2. 基于强化学习的卫星网络资源调度机制[J]. 计算机工程与科学, 2019, 41(12): 2134-2142.
[10]	万谦1,2，刘玮1,2，徐龙龙1,2，郭竞知1,2. 基于Q-learning的不确定环境BDI Agent最优策略规划研究[J]. 计算机工程与科学, 2019, 41(01): 166-172.
[11]	宋佳佳，王作为. 基于有效实例的改进U树算法[J]. 计算机工程与科学, 2019, 41(01): 185-190.
[12]	王建军,刘玉林. 基于强化学习的自适应中间件在线更新机制研究[J]. J4, 2014, 36(08): 1462-1468.
[13]	曹波伟，薛青. 面向装备作战仿真数据流的改进型频繁项集搜索方法研究[J]. J4, 2013, 35(6): 152-155.
[14]	曹波伟，薛青，汤再江. 面向装备作战仿真数据流的改进型贝叶斯分类方法研究[J]. J4, 2013, 35(12): 167-172.
[15]	黄晗文1，2，郑宇3. 强化学习中基于定性模型的知识传递方法[J]. J4, 2011, 33(6): 118-124.