基于强化学习的多机协同传感器管理

doi:10.3969/j.issn.1001-506X.2020.08.12

系统工程与电子技术 ›› 2020, Vol. 42 ›› Issue (8): 1726-1733.doi: 10.3969/j.issn.1001-506X.2020.08.12

基于强化学习的多机协同传感器管理

闫实^1,²(), 贺静^1,²(), 王跃东^1,²(), 孙自强³(), 梁彦^1,²()

1. 西北工业大学自动化学院, 陕西西安 710072
2. 信息融合教育部重点实验室, 陕西西安 710072
3. 南京电子技术研究所, 江苏南京 210039

收稿日期:2020-01-13 出版日期:2020-07-25 发布日期:2020-07-27
作者简介:闫实 (1994-),男,博士研究生,主要研究方向为强化学习、传感器管理。E-mail:yanshi@mail.nwpu.edu.cn|贺静(1992-),女,博士研究生,主要研究方向为网络化控制系统、估计理论、强化学习。E-mail:hejing19920811@mail.nwpu.edu.cn|王跃东 (1995-),男,硕士研究生,主要研究方向为估计理论、强化学习。E-mail:kyle01234@163.com|孙自强 (1987-),男,工程师,博士,主要研究方向为传感器资源管理、优化学习。E-mail:zqsun01@163.com|梁彦 (1971-),男,教授,博士研究生导师,博士,主要研究方向为估计理论、信息融合、远程预警数据处理应用。E-mail:liangyan@nwpu.edu.cn
基金资助:
国家自然科学基金(61771399);国家自然科学基金(61873205)

Multi-airborne cooperative sensor management based on reinforcement learning

Shi YAN^1,²(), Jing HE^1,²(), Yuedong WANG^1,²(), Ziqiang SUN³(), Yan LIANG^1,²()

1. School of Automation, Northwestern Polytechnical University, Xi'an 710072, China
2. Key Laboratory of Information Fusion, Ministry of Education, Xi'an 710072, China
3. Nanjing Institute of Electronic Technology, Nanjing 210039, China

Received:2020-01-13 Online:2020-07-25 Published:2020-07-27
Supported by:
国家自然科学基金(61771399);国家自然科学基金(61873205)

摘要/Abstract

摘要：

网络化战争中,机载雷达在实现对目标信息持续获取的同时保证载机安全生存是亟待解决的问题。对此,以多机协同作战安全转场任务为背景,提出基于深度强化学习算法的智能传感器管理方法。首先,综合考虑信号辐射量与目标威胁因素,计算目标运动过程中的实时威胁隶属度。其次,在强化学习框架下对雷达-目标分派问题建模,利用神经网络逼近动作-值函数,并根据时序差分算法进行参数更新。仿真结果表明,相比于传统调度方法,所提算法有效提升了任务成功率,缩短了任务完成用时。

关键词: 传感器管理, 强化学习, 威胁隶属度

Abstract:

In the networked war, it is urgent that airborne radar can continuously acquire target information while ensuring the safe survival. Focusing on this problem, in the context of safe transition tasks of multi-airborne cooperative operations, this paper proposes a intelligent sensor management method based on deep reinforcement learning. First, the real-time threat membership is calculated considering the signal radiation and several threat factors. Then, the radar-target assignment problem is modeled in a reinforcement learning framework. The neural network is used to approximate the action-value function, and the parameters are updated according to the temporal-difference algorithm. It can be seen from the simulation that the proposed algorithm improves the task success rate and shortens the time of task completion compared with the traditional scheduling methods.

Key words: sensor management, reinforcement learning, threat membership

中图分类号:

TP181

闫实, 贺静, 王跃东, 孙自强, 梁彦. 基于强化学习的多机协同传感器管理[J]. 系统工程与电子技术, 2020, 42(8): 1726-1733.

Shi YAN, Jing HE, Yuedong WANG, Ziqiang SUN, Yan LIANG. Multi-airborne cooperative sensor management based on reinforcement learning[J]. Systems Engineering and Electronics, 2020, 42(8): 1726-1733.

图/表 13

图1

图2

图3

图4

表1

图5

图6

图7

图8

图9

图10

表2

表3

参考文献 21

1	闫涛, 韩崇昭, 张光华. 空中目标传感器管理方法综述[J]. 航空学报, 2018, 39 (10): 26- 36.
	YAN T , HAN C Z , ZHANG G H . An overview of sensor management approaches for aerial target[J]. Acta Aeronautica et Astronautica Sinica, 2018, 39 (10): 26- 36.
2	HERO A O , COCHRAN D . Sensor management: past, present, and future[J]. IEEE Sensors Journal, 2011, 11 (12): 3064- 3075. doi: 10.1109/JSEN.2011.2167964
3	KATSILIERIS F , DRIESSEN H , YAROVOY A . Threat-based sensor management for target trac king[J]. IEEE Trans.on Aerospace and Electronic Systems, 2015, 51 (4): 2772- 2785. doi: 10.1109/TAES.2015.140052
4	刘先省, 申石磊, 潘泉, 等. 基于信息熵的一种传感器管理算法[J]. 电子学报, 2000, 28 (9): 39- 41. doi: 10.3321/j.issn:0372-2112.2000.09.011
	LIU X X , SHEN S L , PAN Q , et al. An algorithm of sensor management based on information entropy[J]. Acta Eletronica Sinica, 2000, 28 (9): 39- 41. doi: 10.3321/j.issn:0372-2112.2000.09.011
5	何友, 关欣, 王国宏. 多传感器信息融合研究进展与展望[J]. 宇航学报, 2005, 26 (4): 524- 530. doi: 10.3321/j.issn:1000-1328.2005.04.028
	HE Y , GUAN X , WANG G H . Survey on the progress and prospect of multisensor information fusion[J]. Journal of Astronautics, 2005, 26 (4): 524- 530. doi: 10.3321/j.issn:1000-1328.2005.04.028
6	LIGGINS M E, CHONG C Y. Distributed multi-platform fusion for enhanced radar management[C]//Proc.of the IEEE National Radar Conference, 1997: 115-119.
7	RISTIC B , VO B N , CLARK D . A note on the reward function for PHD filters with sensor control[J]. IEEE Trans.on Aerospace and Electronic Systems, 2011, 47 (2): 1521- 1529. doi: 10.1109/TAES.2011.5751278
8	GOSTAR A K , HOSEINNEZHAD R , BAB-HADIASHAR A . Multi-bernoulli sensor control via minimization of expected estimation errors[J]. IEEE Trans.on Aerospace and Electronic Systems, 2015, 51 (3): 1762- 1773. doi: 10.1109/TAES.2015.140211
9	WANG X , HOSEINNEZHAD R , GOSTAR A K , et al. Multi-sensor control for multi-object Bayes filters[J]. Signal Proces-sing, 2018, 142, 260- 270. doi: 10.1016/j.sigpro.2017.07.031
10	JOSHI S , BOYD S . Sensor selection via convex optimization[J]. IEEE Trans.on Signal Processing, 2009, 57 (2): 451- 462. doi: 10.1109/TSP.2008.2007095
11	徐瑞阳, 冯新喜. 基于矩阵遗传的传感器管理算法[J]. 现代雷达, 2016, 38 (1): 42- 46.
	XU R Y , FENG X X . Sensor management algorithm based on matrix genetic algorithm[J]. Modern Radar, 2016, 38 (1): 42- 46.
12	VINYALS M , RODRIGUEZ-AGUILAR J A , CERQUIDES J . A survey on sensor networks from a multiagent perspective[J]. The Computer Journal, 2011, 54 (3): 455- 470.
13	SHAH K , DI FRANCESCO M , KUMAR M . Distributed re source management in wireless sensor networks using reinforcement learning[J]. Wireless Networks, 2013, 19 (5): 705- 724. doi: 10.1007/s11276-012-0496-2
14	CAI J , HUANG C Q , GUO H F . Multi-sensor cooperative tracking using distributed Nash Q-learning[J]. Advanced Materials Research, 2012, 591-593, 1475- 1478. doi: 10.4028/www.scientific.net/AMR.591-593.1475
15	SUTTON R , BARTO A . Reinforcement learning: an introduction[M]. Cambridge: MIT Press, 1998.
16	LI Y. Deep reinforcement learning: an overview[EB/OL].[2020-04-03]. http://arxiv.org/abs/1701.07274.
17	WATKINS C J C H , DAYAN P . Q-learning[J]. Machine Learning, 1992, 8 (3/4): 279- 292. doi: 10.1023/A:1022676722315
18	MNIH V , KAVUKCUOGLU K , SILVER D , et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518 (7540): 529- 533. doi: 10.1038/nature14236
19	闫冲冲, 郝永生. 基于层次分析法(AHP)的空中目标威胁度估计[J]. 计算技术与自动化, 2011, 30 (2): 118- 121. doi: 10.3969/j.issn.1003-6199.2011.02.029
	YAN C C , HAO Y S . Threat assessment of aerial target based on AHP[J]. Computing Technology and Automation, 2011, 30 (2): 118- 121. doi: 10.3969/j.issn.1003-6199.2011.02.029
20	刘顺利, 陈亚生, 陈琳, 等. 基于Agent的空中目标威胁度评估模型[J]. 弹箭与制导学报, 2010, 30 (6): 212- 215. doi: 10.3969/j.issn.1673-9728.2010.06.065
	LIU S L , CHEN Y S , CHEN L , et al. Model for aerial targeis threat evaluation based on agent[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2010, 30 (6): 212- 215. doi: 10.3969/j.issn.1673-9728.2010.06.065
21	李俊, 郝成民, 刘湘伟. 改进PSO算法在雷达干扰任务分配中的应用[J]. 计算机仿真, 2008, (12): 38- 41. doi: 10.3969/j.issn.1006-9348.2008.12.011
	LI J , HAO C M , LIU X W . Application of improved PSO arithmetic in radar jamming task assignment[J]. Computer Simulation, 2008, (12): 38- 41. doi: 10.3969/j.issn.1006-9348.2008.12.011

立场	运动情况	初始状态
红方	2架侦察机按预设轨迹执行穿越	$侦察机初始状态\left[\begin{array}{cccc}230 & 0 & 0 & 100 \\200 & 0 & 10 & 100\end{array}\right]$
蓝方	5个目标顺时针螺旋飞行	$巡逻机初始状态\left[ {\begin{array}{*{20}{r}}{240}&{100}&{280}&{ - 100}\\{240}&{100}&{260}&{ - 100}\\{240}&{100}&{200}&{ - 100}\\{80}&{100}&{320}&{ - 100}\\{80}&{100}&{340}&{ - 100}\end{array}} \right] $

指标	RL调度	PSO调度	固定调度
平均威胁度	39.08	45.72	75.54
任务成功率/%	73	62	1

方案	平均用时/s
RL调度	0.96
PSO调度	3.55

[1]	朱霸坤, 朱卫纲, 李伟, 杨莹, 高天昊. 基于马尔可夫的多功能雷达认知干扰决策建模研究[J]. 系统工程与电子技术, 2022, 44(8): 2488-2497.
[2]	王冠, 茹海忠, 张大力, 马广程, 夏红伟. 弹性高超声速飞行器智能控制系统设计[J]. 系统工程与电子技术, 2022, 44(7): 2276-2285.
[3]	孟泠宇, 郭秉礼, 杨雯, 张欣伟, 赵柞青, 黄善国. 基于深度强化学习的网络路由优化方法[J]. 系统工程与电子技术, 2022, 44(7): 2311-2318.
[4]	郭冬子, 黄荣, 许河川, 孙立伟, 崔乃刚. 再入飞行器深度确定性策略梯度制导方法研究[J]. 系统工程与电子技术, 2022, 44(6): 1942-1949.
[5]	韩明仁, 王玉峰. 基于强化学习的全电推进卫星变轨优化方法[J]. 系统工程与电子技术, 2022, 44(5): 1652-1661.
[6]	何立, 沈亮, 李辉, 王壮, 唐文泉. 强化学习中的策略重用: 研究进展[J]. 系统工程与电子技术, 2022, 44(3): 884-899.
[7]	朱霸坤, 朱卫纲, 李伟, 杨莹, 高天昊. 基于先验知识的多功能雷达智能干扰决策方法[J]. 系统工程与电子技术, 2022, 44(12): 3685-3695.
[8]	杨清清, 高盈盈, 郭玙, 夏博远, 杨克巍. 基于深度强化学习的海战场目标搜寻路径规划[J]. 系统工程与电子技术, 2022, 44(11): 3486-3495.
[9]	曾斌, 张鸿强, 李厚朴. 针对无人潜航器的反潜策略研究[J]. 系统工程与电子技术, 2022, 44(10): 3174-3181.
[10]	万齐天, 卢宝刚, 赵雅心, 温求遒. 基于深度强化学习的驾驶仪参数快速整定方法[J]. 系统工程与电子技术, 2022, 44(10): 3190-3199.
[11]	曾斌, 王睿, 李厚朴, 樊旭. 基于强化学习的战时保障力量调度策略研究[J]. 系统工程与电子技术, 2022, 44(1): 199-208.
[12]	江志炜, 黄洋, 吴启晖. 基于核函数强化学习的抗干扰频点分配[J]. 系统工程与电子技术, 2021, 43(6): 1547-1556.
[13]	刘家义, 岳韶华, 王刚, 姚小强, 张杰. 复杂任务下的多智能体协同进化算法[J]. 系统工程与电子技术, 2021, 43(4): 991-1002.
[14]	闫安, 陈章, 董朝阳, 何康辉. 基于模糊强化学习的双轮机器人姿态平衡控制[J]. 系统工程与电子技术, 2021, 43(4): 1036-1043.
[15]	李琛, 黄炎焱, 张永亮, 陈天德. Actor-Critic框架下的多智能体决策方法及其在兵棋上的应用[J]. 系统工程与电子技术, 2021, 43(3): 755-762.

基于强化学习的多机协同传感器管理

Multi-airborne cooperative sensor management based on reinforcement learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 21

相关文章 15

编辑推荐

Metrics

本文评价