再入飞行器深度确定性策略梯度制导方法研究

doi:10.12305/j.issn.1001-506X.2022.06.21

系统工程与电子技术 ›› 2022, Vol. 44 ›› Issue (6): 1942-1949.doi: 10.12305/j.issn.1001-506X.2022.06.21

再入飞行器深度确定性策略梯度制导方法研究

郭冬子¹, 黄荣², 许河川³, 孙立伟³, 崔乃刚^1,*

1. 哈尔滨工业大学航天学院, 黑龙江哈尔滨 150001
2. 北京控制与电子工程研究所, 北京 100038
3. 中国兵器工业集团航空弹药研究院, 黑龙江哈尔滨 150030

收稿日期:2021-06-02 出版日期:2022-05-30 发布日期:2022-05-30
通讯作者: 崔乃刚
作者简介:郭冬子 (1976—), 男, 研究员, 博士, 主要研究方向为飞行器设计|黄荣 (1986—), 男, 工程师, 博士, 主要研究方向为飞行器轨迹优化|许河川 (1979—), 男, 研究员, 硕士, 主要研究方向为飞行器控制|孙立伟 (1982—), 男, 高级工程师, 硕士, 主要研究方向为导弹制导控制系统|崔乃刚 (1965—), 男, 教授, 博士研究生导师, 博士, 主要研究方向为飞行力学与控制、滤波理论与应用
基金资助:
微小型航天器技术实验室开放基金(HIT.KLOF.MST.2018028)

Research on deep deterministic policy gradient guidance method for reentry vehicle

Dongzi GUO¹, Rong HUANG², Hechuan XU³, Liwei SUN³, Naigang CUI^1,*

1. School of Astronautics, Harbin Institute of Technology, Harbin 150001, China
2. Beijing Institute of Control and Electronic Technology, Beijing 100038, China
3. Aviation Ammunition Research Institute of China Ordnance Industry Group, Harbin 150030, China

Received:2021-06-02 Online:2022-05-30 Published:2022-05-30
Contact: Naigang CUI

摘要/Abstract

摘要：

为解决传统再入飞行器轨迹制导方法对强扰动条件适应性不足, 难以满足终端约束的问题, 在深度确定性策略梯度学习框架基础上, 通过对随机强扰动条件下的离线飞行轨迹进行网络训练, 寻找不同环境影响条件下的最优动作网络, 以用于在线干扰条件下的制导轨迹规划, 可通过对再入飞行攻角和倾侧角剖面的周期性预测, 满足再入飞行终端高度、航程和速度约束。仿真实验结果表明: 在满足终端高度约束的条件下, 最大终端剩余航程偏差小于500 m, 最大终端速度偏差小于35 m/s。本文所提制导方法较传统跟踪制导方法有较大的精度提升, 算法计算量小, 具有较好的工程应用前景。

关键词: 再入飞行器, 强化学习, 深度确定性策略梯度, 制导

Abstract:

In order to solve the problem that the traditional reentry vehicle trajectory guidance methods are not adaptable to the strong disturbance conditions and difficult to meet the terminal constraints. Based on the framework of deep deterministic policy gradient (DDPG) reinforcement learning method, conducts network training on the off-line flight trajectory under the random strong disturbance conditions to find the optimal actor network under different environmental conditions. It can be used for guidance trajectory planning under the condition of on-line interference to meet the terminal altitude, range and speed constraints of reentry flight by periodically forecasting the angle of attack and pitch profile of reentry flight. The simulation results show that the maximum terminal residual range deviation is less than 500 m and the maximum terminal speed deviation is less than 35 m/s while meeting the terminal height constraint. Compared with the traditional tracking guidance method, the guidance control method proposed in this paper has higher accuracy and less calculation, which has a good engineering application prospect.

Key words: reentry vehicle, reinforcement learning, deep deterministic policy gradient, guidance

中图分类号:

V448

郭冬子, 黄荣, 许河川, 孙立伟, 崔乃刚. 再入飞行器深度确定性策略梯度制导方法研究[J]. 系统工程与电子技术, 2022, 44(6): 1942-1949.

Dongzi GUO, Rong HUANG, Hechuan XU, Liwei SUN, Naigang CUI. Research on deep deterministic policy gradient guidance method for reentry vehicle[J]. Systems Engineering and Electronics, 2022, 44(6): 1942-1949.

图/表 15

图1

图2

表1

表2

表3

表4

图3

图4

图5

图6

图7

图8

图9

图10

图11

参考文献 24

1	李凯文, 张涛, 王锐, 等. 基于深度强化学习的组合优化研究进展[J]. 自动化学报, 2020, 41 (11): 2521- 2537.
	LI K W , ZHANG T , WANG R , et al. Research reviews of combinatorial optimization methods based on deep reinforcement learning[J]. Acta Automatica Sinica, 2020, 41 (11): 2521- 2537.
2	ZHANG H P , WANG H L , LI N , et al. Time-optimal memetic whale optimization algorithm for hypersonic vehicle reentry tra-jectory optimization with no-fly zones[J]. Neural Computing and Applications, 2020, 32 (7): 2735- 2749. doi: 10.1007/s00521-018-3764-y
3	高嘉时. 升力式再入飞行器轨迹优化与制导方法研究[D]. 武汉: 华中科技大学, 2019.
	GAO J S. Research on trajectory optimization and guidance method of lift reentry vehicle[D]. Wuhan: Huazhong University of Science and Technology, 2019.
4	LI R F , HU L , CAI L . Adaptive tracking control of a hypersonic flight aircraft using neural networks with reinforcement syn-thesis[J]. Aero Weaponry, 2018, (6): 3- 10.
5	杨烨峰, 邓凯, 左英琦, 等. PILCO框架对飞行姿态模拟器系统的参数设计与优化[J]. 光学精密工程, 2019, 27 (11): 2365- 2373.
	YANG Y F , DENG K , ZUO Y Q , et al. Parameter design and optimization of flight attitude simulator system based on pilco framework[J]. Optical Precision Engineering, 2019, 27 (11): 2365- 2373.
6	甄岩, 郝明瑞. 基于深度强化学习的智能PID控制方法研究[J]. 战术导弹技术, 2019, (5): 37- 43.
	ZHEN Y , HAO M R . Research on Intelligent PID control method based on deep reinforcement learning[J]. Tactical Missile Technology, 2019, (5): 37- 43.
7	任坚, 刘剑慰, 杨蒲. 基于增量式策略强化学习算法的飞行控制系统的容错跟踪控制[J]. 控制理论与应用, 2020, 37 (7): 1429- 1438.
	REN J , LIU J W , YANG P . Fault tolerant tracking control of flight control system based on incremental strategy reinforcement learning algorithm[J]. Control theory and application, 2020, 37 (7): 1429- 1438.
8	KOCH W , MANCUSO R , WEST R , et al. Reinforcement learning for UAV attitude control[J]. ACM Transactions on Cyber-Physical Systems, 2019, 3 (2): 1- 21.
9	LAMBERT N O , SCHINDLER C B , DREW D S , et al. Nonholonomic yaw control of an underactuated flying robot with model-based reinforcement learning[J]. IEEE Robotics and Automation Letters, 2020, 6 (2): 455- 461.
10	TANG C, LAI Y C. Deep reinforcement learning automatic landing control of fixed-wing aircraft using deep deterministic policy gradient[C]//Proc. of the IEEE International Confe-rence on Unmanned Aircraft Systems, 2020.
11	CHENG Y, SHUI Z S, XU C, et al. Cross-cycle iterative unmanned aerial vehicle reentry guidance based on reinforcement learning[C]//Proc. of the IEEE International Conference on Unmanned Systems, 2019: 587-592.
12	涂铮铮. 基于进化和强化学习算法的动态路径规划研究[D]. 成都: 电子科技大学, 2020.
	TU Z Z. Research on dynamic path planning based on evolution and reinforcement learning algorithm[D]. Chengdu: University of Electronic Science and Technology of China, 2020.
13	邱月, 郑柏通, 蔡超. 多约束复杂环境下UAV航迹规划策略自学习方法[J]. 计算机工程, 2021, 47 (5): 44- 51.
	QIU Y , ZHENG B T , CAI C . Self learning method of UAV path planning strategy in complex environment with multiple constraints[J]. Computer Engineering, 2021, 47 (5): 44- 51.
14	GAUDET B , FURFARO R , LINARES R . Reinforcement learning for angle-only intercept guidance of maneuvering targets[J]. Aerospace Science and Technology, 2020, 99 (4): 105746.
15	LU P . Entry guidance: a unified method[J]. Journal of Gui-dance, Control, and Dynamics, 2014, 37 (3): 713- 728. doi: 10.2514/1.62605
16	崔乃刚, 李浩, 卢宝刚, 等. 可重复使用飞行器制导控制一体化技术[J]. 光学精密工程, 2017, 25 (12): 52- 58.
	CUI N G , LI H , LU B G , et al. Integrated guidance and control for reusable launch vehicle[J]. Optics and Precision Engineering, 2017, 25 (12): 52- 58.
17	SHEN Z J , LU P . Onboard generation of three-dimensional constrained entry trajectories[J]. Journal of Guidance, control, and Dynamics, 2003, 26 (1): 111- 121. doi: 10.2514/2.5021
18	ZHAO J , ZHOU R , JIN X L . Progress in reentry trajectory planning for hypersonic vehicle[J]. Journal of Systems Engineering and Electronics, 2014, 25 (4): 627- 639. doi: 10.1109/JSEE.2014.00073
19	ARULKUMARAN K , DEISENROTH M P , BRUNDAGE M , et al. Deep reinforcement learning: a brief survey[J]. IEEE Signal Processing Magazine, 2017, 34 (6): 26- 38. doi: 10.1109/MSP.2017.2743240
20	LILLICRAP T P, HUNT J J, PRITZEL A, et al. Continuous control with deep reinforcement learning[EB/OL]. [2021-06-02]. https://axiv.org/abs/1509.02971.
21	GAO J S, SHI X M, CHENG Z T, et al. Reentry trajectory optimization based on deep reinforcement learning[C]//Proc. of the IEEE Chinese Control and Decision Conference, 2019: 2588-2592.
22	KE H C , WANG J , DENG L Y , et al. Deep reinforcement learning-based adaptive computation offloading for MEC in hete-rogeneous vehicular networks[J]. IEEE Trans.on Vehicular Technology, 2020, 69 (7): 7916- 7929. doi: 10.1109/TVT.2020.2993849
23	NAUTA J, KHALUF Y, SIMOENS P. Using the Ornstein-Uhlenbeck process for random exploration[C]//Proc. of the 4th International Conference on Complexity, Future Information Systems and Risk, 2019.
24	党选举, 王凯利, 姜辉, 等. 工业机器人谐波减速器迟滞特性的神经网络建模[J]. 光学精密工程, 2019, 27 (3): 694- 701.
	DANG X J , WANG K L , JIANG H , et al. Neural network mode-ling of hysteresis for harmonic drive in industrial robots[J]. Optics and Precision Engineering, 2019, 27 (3): 694- 701.

参数	参数值
质量/kg	1 200
气动参考面积/㎡	0.5

条件	参数	参数值
初始条件	高度/km	80
	速度/(m·s^-1)	5 200
	飞行路径角/(°)	－1
	航向角/(°)	90
	设计航程/km	3 500
终端条件	高度/km	27
	速度/(m·s^-1)	1 500
	剩余航程/km	50
约束条件	最大动压/kPa	100
	最大法向过载/g	5
	最大驻点热流/(kW·h)	5 000

超参数名称	超参数取值
s_online	100
n_train	32
κ_o	0.15
η_o	0.15
σ_o	0.15
α_a	0.000 01
α_c	0.001
ζ	0.99
s_target	5
τ	0.01

参数	参数值
初始高度偏差Δh₀/m	－100~100
初始速度偏差Δv₀/(m·s^-1)	－50~50
初始飞行路径角偏差Δγ₀/(°)	－1~1
阻力系数偏差/%	－10~10
升力系数偏差/%	－10~10
大气密度偏差/%	－10~10

[1]	马子杰, 谢拥军. 体系作战下巡航导弹的动态隐身[J]. 系统工程与电子技术, 2022, 44(9): 2826-2831.
[2]	周梦平, 孟秀云, 刘俊辉. 大落角机动目标逆轨拦截最优滑模制导律设计[J]. 系统工程与电子技术, 2022, 44(9): 2886-2893.
[3]	朱霸坤, 朱卫纲, 李伟, 杨莹, 高天昊. 基于马尔可夫的多功能雷达认知干扰决策建模研究[J]. 系统工程与电子技术, 2022, 44(8): 2488-2497.
[4]	李君龙, 李松洲, 周荻. 一种多约束条件下的三脉冲交会优化设计方法[J]. 系统工程与电子技术, 2022, 44(8): 2612-2620.
[5]	王冠, 茹海忠, 张大力, 马广程, 夏红伟. 弹性高超声速飞行器智能控制系统设计[J]. 系统工程与电子技术, 2022, 44(7): 2276-2285.
[6]	孟泠宇, 郭秉礼, 杨雯, 张欣伟, 赵柞青, 黄善国. 基于深度强化学习的网络路由优化方法[J]. 系统工程与电子技术, 2022, 44(7): 2311-2318.
[7]	韩明仁, 王玉峰. 基于强化学习的全电推进卫星变轨优化方法[J]. 系统工程与电子技术, 2022, 44(5): 1652-1661.
[8]	姜尚, 魏波, 梁伟阁, 孙东彦, 李进军, 马野. 考虑齿隙的多约束导引控制一体化设计方法[J]. 系统工程与电子技术, 2022, 44(4): 1318-1328.
[9]	何立, 沈亮, 李辉, 王壮, 唐文泉. 强化学习中的策略重用: 研究进展[J]. 系统工程与电子技术, 2022, 44(3): 884-899.
[10]	安通, 王鹏, 王建华, 汤国建, 潘玉龙, 陈海山. 弹性高超声速飞行器动态面制导控制一体化设计方法[J]. 系统工程与电子技术, 2022, 44(3): 956-966.
[11]	王琪, 廖志忠, 燕飞. 基于概率数据关联的雷达导引头抗速度拖引干扰算法[J]. 系统工程与电子技术, 2022, 44(2): 448-454.
[12]	唐骁, 叶继坤, 李旭. 三维非线性预设性能制导律设计[J]. 系统工程与电子技术, 2022, 44(2): 619-627.
[13]	朱霸坤, 朱卫纲, 李伟, 杨莹, 高天昊. 基于先验知识的多功能雷达智能干扰决策方法[J]. 系统工程与电子技术, 2022, 44(12): 3685-3695.
[14]	杨清清, 高盈盈, 郭玙, 夏博远, 杨克巍. 基于深度强化学习的海战场目标搜寻路径规划[J]. 系统工程与电子技术, 2022, 44(11): 3486-3495.
[15]	曾斌, 张鸿强, 李厚朴. 针对无人潜航器的反潜策略研究[J]. 系统工程与电子技术, 2022, 44(10): 3174-3181.

再入飞行器深度确定性策略梯度制导方法研究

Research on deep deterministic policy gradient guidance method for reentry vehicle

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 24

相关文章 15

编辑推荐

Metrics

本文评价