针对具有多径效应、大气噪声等复杂因素的无人机(unmanned aerial vehicle, UAV)集群多输入多输出(multiple-input multiple-output, MIMO)信道的信号调制方式识别问题, 提出基于循环谱特征和高阶累积量特征的调制识别方法。首先, 根据UAV集群复杂通信信道环境, 建立Alpha稳定分布噪声干扰和多径干扰下的UAV集群MIMO信道。其次, 分析MIMO接收信号的高阶累积量特征和循环谱特征, 提取出判别调制识别方式能力强的特征值, 构造集群信号特征样本。最后, 将特征样本输入深度稀疏自编码网络, 实现6种调制方式的识别。仿真结果表明, 该调制识别方法在UAV集群复杂通信环境下是有效的, 当识别准确率为90%时, 深度稀疏自编码网络识别性能优于多层感知机识别性能约1 dB。在存在直射径的MIMO多径信道中, 当混合信噪比为0 dB时, 识别准确率均能达到96%, 在低信噪比下有较高的识别准确率, 对复杂的信道环境下的MIMO信号识别具有鲁棒性。