补充资料：最优控制算法

    　　用以定出最优控制（见最优控制理论）的具体形式的计算方法。极大值原理和动态规划从理论方面研究了最优控制所应遵循的方程和条件，而最优控制算法则是从计算方面来确定最优控制形式的具体方法和步骤（见最优化方法）。从总体上看，最优控制算法可分为间接法和直接法两大类。对于给定的一类控制问题可由最优控制理论导出用以决定最优控制的条件和方程，可用有关的计算方法求出其解，这类方法称为间接法。对难以定出有关最优控制的条件和方程的一类问题，须用数值方法直接求其近似解，这类方法称为直接法。不管是间接法还是直接法，在大多数情况下，都要借助数值求解算法。随着电子计算机技术的发展，用数值方法求解最优控制问题变得越来越有效和广泛，原来不可行的一些算法已逐渐成为可行。
　　
　　评价最优控制算法的两个主要问题是：①算法的收敛性或数值稳定性，它是保证计算过程能达到正确结果的前提。②算法的计算复杂性，这对实时控制具有特别重要的意义。一个好的算法应使计算量和存储量尽可能小,以便能由尽可能简单的计算机来实现计算。此外,好的算法还应具有较好的数值稳定性，即计算的结果对初始数据和运算过程的误差不过于敏感,以及处理"病态"问题的能力。典型的最优控制算法有:求解由极大值原理导出的微分或差分方程的两点边值问题的各种算法，对动态规划中的贝尔曼方程进行数值求解的算法，求解线性二次型最优控制问题的黎卡提方程的各种算法，处理控制或状态受约束问题的罚函数法，在控制策略的函数空间中利用搜索寻优或梯度寻优技术和牛顿－拉夫森方法等直接求解非线性系统最优控制问题的算法等。其中，非线性系统的开环最优控制问题和线性二次型最优控制问题的算法应用尤多。
　　
　　非线性系统的开环最优控制算法 　这类控制问题的提法是，在非线性系统的状态方程
　　
　　 夶＝f(x，u，t)， x(t₀)＝x₀，　t₀≤t≤t_f
　　(1)的约束下，寻找一个控制u(t)使性能指标泛函
　　
　　
　　
　　 (2)为最小。这里u为m维控制向量函数,x为n维状态向量函数,f为n维向量函数,t₀是起始时间,t_f为终止时间。性能指标泛函中第一项积分表示与控制过程有关的指标，而第二项K 则表示仅与终态和终止时间有关的指标。
　　
　　对x和u的变化范围不加限制的情形，可把非线性规划中的共轭梯度法、变尺度法等推广来求解上面给出的问题。其关键在于计算泛函J(u)对于u的梯度墷J(u)：
　　
　　
　　
　　　
　　
　　
　　　(3)式中
　　
　　　H(x，u，λ，t)＝L(x，u，t)+ λ^Tf(x，u，t)
　　 (4)是哈密顿函数。这里上标T表示转置,而λ是n维伴随向量，它满足方程
　　
　　　
　　　(5)用共轭梯度法求解上述问题的算法为
　　
　　① 任选一个初始控制u₀，且令i＝0。
　　
　　② 用ui从t₀到t_f求积状态方程(1),得到xi(t),后再用ui和 xi从 t_f 到t₀ 反向求积伴随方程(5)以得到λi(t)。再利用ui、xi和λi计算。
　　
　　③ 令
　　
　　　gi＝H
　　
　　
　　
　　
　　　hi=gi+β_i-1h^i-1
　　其中β_i-1＝＜gi-g^i-1，gi＞/＜g^i-1，g^i-1＞，h₀＝g₀，而符号＜·,·＞表示＜x，y＞＝(x^T(t)y(t))dt即两个向量（此例中为x和y）的内积。
　　
　　④ 若gi＝0，停止；否则进行⑤。
　　
　　⑤ 用一维搜索法求出μi＞0使
　　
　　J(uⁱ+μⁱhⁱ)＝[J(uⁱ+μhⁱ)|μ＞0]
　　
　　⑥ 在ui⁺¹=ui+μihi中，令i改为i+1，回到②,重复进行各步。
　　
　　线性二次型问题的闭环最优控制算法 　这类控制问题的数学提法是，在线性状态方程
　　
　　
　　
　　
　　　 x＝Ax+Bu的约束下，求控制u(t)使二次型性能指标泛函
　　
　　
　　　 J(u)＝(x^TQx＋u^TRu)dt为最小。这里，Q是半正定对称矩阵，R是正定对称矩阵。这个问题的最优控制解的表达式为
　　
　　
　　
　　
　　　u^*＝-R^-1B^TPx其中对称正定矩阵P满足黎卡提代数矩阵方程
　　
　　
　　　A^TP+PA-PBR^-1B^TP+Q＝0在这类最优控制问题的算法中，关键是求解矩阵P,常用的算法有四种。
　　
　　① 微分方程法。反向解矩阵黎卡提微分方程
　　
　　　 妛+A^TP+PA-PBR^-1B^TP+Q =0,　 P(t_f)＝0其中,则其稳态解即为所求的黎卡提代数矩阵方程的解阵。
　　
　　② 哈密顿矩阵方法。构造哈密顿矩阵
　　
　　
　　　 此矩阵的特征值必定不包含纯虚数,且若λ是特征值，则-λ也是特征值。 找到变换阵使得S^-1HS＝ 其中 Λ是形如的矩阵的直和，且所有的λ_i均大于零，则P＝S₂₁S。式中S表示S₁₁的逆矩阵。
　　
　　这种算法的另一种形式是先定出哈密顿矩阵 H的特征值，并以具有负实部的所有特征值为零点来组成多项式F(s)。将用H 代替s后得到的矩阵多项式F(H)写成分块形，则P＝F₂₁F。　
　　
　　这种算法的又一种形式是找到一个正交矩阵使得，其中S₁₁的所有特征值均具负实部，而s₂₂的所有特征值均具正实部，则P＝U₂₁U。
　　
　　
　　③ 迭代解法。将黎卡提代数方程改写为迭代形式
　　
　　　 (A-sP_i)^TP_i+1+P_i+1(A-sP_i)＝-Q-P_isP_i其中s＝BR^-1B^T,i＝0,1,...。当选择 P₀使矩阵A₀＝A-sP₀的特征值均具负实部时，此迭代方程所确定的矩阵序列P₀、P₁、...是单调收敛的其极限矩阵即是黎卡提代数矩阵方程的对称正定解。
　　
　　④ 符号函数方法。哈密顿矩阵H的符号函数规定为
　　
　　
　　
　　　这里H₀＝H，H_i+1＝α_iH_i+(1-α_i)H抶。α∈(0,1)称为加速系数，通常将其取为
　　由S_H构成矩阵
　　
　　
　　 则
　　
　　
　　
　　
　　参考书目
　　　宫锡芳著：《最优控制问题的计算方法》，科学出版社，北京，1979。