近年,双向放大转发(amplify-and-forward, AF)多输入多输出(multiple input multiple output, MIMO)中继系统中的预编码设计吸引了越来越多研究学者的兴趣。然而,在实际MIMO中继通信系统中,针对双向传输下的系统,对多用户模型进行的研究较少。由此,针对多用户双向AF MIMO中继系统模型,提出了一种联合预编码算法。采用在所有节点功率限制下,以最小和均方误差(minimun sum mean square error, MSMSE)设计准则去求解联合信源、中继和信宿端多用户的非凸优化问题,将最初的非凸优化问题转化成多个子优化问题,并利用半正定规划设计、平方约束二次规划设计以及二阶锥规划设计求解子优化问题。之后通过交替迭代方法进一步求解每个子凸优化问题局部优化值,达到优化所有节点矩阵变量的目的。所提算法较现有的算法,不仅在优化问题方面考虑更全面、更实用,而且实验仿真结果验证,提出的算法在系统和均方误差(sum mean-square-error, SMSE)性能、和速率以及误码率(bit-error rate, BER)上有均有改善。