1) general least squares learning algorithm
广义递推最小二乘学习算法
2) recursive extended least squares(RELS)
增广最小二乘递推算法
3) recursive extended least squares algorithm(RELS)
递推增广最小二乘算法
4) recursive generalized extended least squares
递推广义增广最小二乘法
6) RELS
递推增广最小二乘法
补充资料：广义最小二乘估计
用迭代的松弛算法对线性最小二乘估计的一种改进。线性最小二乘估计在模型误差为相关噪声时是有偏估计，即其估计值存在偏差。这时采用广义最小二乘估计能获得较精确的结果。
假设所讨论的单输入单输出系统的差分方程模型是
式中{uk}和{yk}分别是输入和输出序列：和是算子多项式,它们的系数是需要通过估计来求出的未知数;z-1是单位延迟算子；{ek}是误差序列，它是零均值平稳相关噪声序列。为了进行广义最小二乘估计可以从形式上把ek变换成，这里，它的系数也是未知的。如果{ek}具有有理谱密度,则可把{εk}当作白噪声序列来处理。这样就把系统模型变成
相应的估计准则是
广义最小二乘估计就是使估计准则J为极小的参数估计。多项式A(z-1)、B(z-1)和C(z-1)的系数都是未知的,所以不能用一个线性算法获得广义最小二乘估计。
广义最小二乘估计采用迭代的松弛算法：先行固定C(z-1)，估计A(z-1)和B(z-1),使J 趋于极小；然后固定A(z-1)和B(z-1),估计C(z-1),使 J 趋于极小。如此反复迭代，直至估计值收敛。这时每步只进行简单的线性最小二乘估计运算，迭代的初值取扗(z-1)=1。
广义最小二乘估计算法的估计精度高，已得到应用并获得不少成果。它的缺点在于：当信噪比较小时,J可能有多个局部极小点，估计结果不能保证收敛到全局最小点，即参数真值；它的计算量也比线性最小二乘估计增加很多。
这种算法也可推广到多输入多输出系统，并且有相应的近似递推估计算法。当误差{ek}为正态噪声序列时，这种算法还可以解释为极大似然估计的松弛算法。
参考书目
G.G.哥德温、R.L.潘恩著，张永光、袁震东译：《动态系统辨识：试验设计与数据分析》，科学出版社，北京，1983。(G.C.Goodwin and R.L.Payne，Dynamic System Identification：Experiment Design and Data Analysis, Academic Press, New York,1977.)
假设所讨论的单输入单输出系统的差分方程模型是
式中{uk}和{yk}分别是输入和输出序列：和是算子多项式,它们的系数是需要通过估计来求出的未知数;z-1是单位延迟算子；{ek}是误差序列，它是零均值平稳相关噪声序列。为了进行广义最小二乘估计可以从形式上把ek变换成，这里，它的系数也是未知的。如果{ek}具有有理谱密度,则可把{εk}当作白噪声序列来处理。这样就把系统模型变成
相应的估计准则是
广义最小二乘估计就是使估计准则J为极小的参数估计。多项式A(z-1)、B(z-1)和C(z-1)的系数都是未知的,所以不能用一个线性算法获得广义最小二乘估计。
广义最小二乘估计采用迭代的松弛算法：先行固定C(z-1)，估计A(z-1)和B(z-1),使J 趋于极小；然后固定A(z-1)和B(z-1),估计C(z-1),使 J 趋于极小。如此反复迭代，直至估计值收敛。这时每步只进行简单的线性最小二乘估计运算，迭代的初值取扗(z-1)=1。
广义最小二乘估计算法的估计精度高，已得到应用并获得不少成果。它的缺点在于：当信噪比较小时,J可能有多个局部极小点，估计结果不能保证收敛到全局最小点，即参数真值；它的计算量也比线性最小二乘估计增加很多。
这种算法也可推广到多输入多输出系统，并且有相应的近似递推估计算法。当误差{ek}为正态噪声序列时，这种算法还可以解释为极大似然估计的松弛算法。
参考书目
G.G.哥德温、R.L.潘恩著，张永光、袁震东译：《动态系统辨识：试验设计与数据分析》，科学出版社，北京，1983。(G.C.Goodwin and R.L.Payne，Dynamic System Identification：Experiment Design and Data Analysis, Academic Press, New York,1977.)
说明：补充资料仅用于学习参考，请勿用于其它任何用途。
参考词条