1) tactic iinteraction
策略迭代法
2) policy iteration
策略迭代
1.
Tradional algorithms to solve POMPDs are value iteration algorithm and policy iteration algorithm.
介绍了部分可观察Markov决策过程的基本原理和决策过程,提出一种基于策略迭代和值迭代的部分可观察Markov决策算法,该算法利用线性规划和动态规划的思想,解决当信念状态空间较大时出现的"维数灾"问题,得到Markov决策的逼近最优解。
2.
By the equivalent Markov process, formulas of performance potentials and average-cost optimality equations for SMCPs are derived, and a policy iteration algorithm and a value iteration algorithm are proposed, which can lead to an optimal or suboptimal stationary policy in a finite number of iterations.
利用等价Markov过程的方法,导出了SMCP的性能势公式和平均代价最优性方程,给出了求解最优或次最优平稳策略的策略迭代算法和数值迭代算法,并证明了算法的收敛性。
3.
An appropriate selection of basis function directly in?uences the learning performance of a policy iteration method during the value function approximation.
在策略迭代结强化学习方法的值函数逼近过程中,基函数的合理选择直接影响方法的性能。
3) Iterative strategy
迭代策略
1.
The al-gorithm is a integration of progressive alignment approach and iterative strategy.
该算法先用渐进方法进行多序列比对,然后通过迭代策略,利用上一轮多序列比对结果修正指导树,产生新一轮比对。
5) iterative alignment strategy
迭代比对策略
6) regression iterative strategy
回归迭代策略
补充资料：策略迭代法
动态规划中求最优策略的基本方法之一。它借助于动态规划基本方程，交替使用"求值计算"和"策略改进"两个步骤，求出逐次改进的、最终达到或收敛于最优策略的策略序列。
例如，在最短路径问题中，设给定M个点1，2，...，M。点M是目的点,сij>0是点i到点j的距离i≠j,сij=0,i,j=1,2,...,M,要求出点i到点M的最短路。记??(i)为从i到M的最短路长度。此问题的动态规划基本方程为
(1)其策略迭代法的程序如下：选定一初始策略u0(i),在这问题中,策略u(i)的意义是从点i出发走一步后到达的点，而且作为策略,它是集{1,2,...,M-1}上的函数。由u0(i)解下列方程组求出相应的值函数??0(i)：
再由??0(i)求改进的一次迭代策略u1(i),使它是下列最小值问题的解：然后，再如前面一样,由u1(i)求出相应的值函数??1(i)，并由??1(i)求得改进的二次迭代策略u2(i),如此继续下去。 可见求解(1)的策略迭代法的程序由下列两个基本步骤组成：
①求值计算 由策略 un(i)求相应的值函数??n(i)，即求下列方程的解：
②策略改进 由值函数??n(i)求改进的策略,即求下列最小值问题的解：式中规定,如un(i)是上一问题的解,则取un+1(i)=un(i)。
在一定条件下,由任选的初始策略出发,轮换进行这两个步骤, 经有限步N后将得出对所有i,uN+1(i)=uN(i)这样求得的uN(i)就是最优策略，相应的值函数??N(i)。是方程(1)的解。
对于更一般形式的动态规划基本方程
(2)这里??，H，φ为给定实函数。上述两个步骤变成：
①求值计算 由策略un(x)求相应的值函数 ??n(x)，即求方程 之解，n=0，1，2...。
②策略改进 由值函数??n(x)求改进的策略un+1(x)，即求最优值问题的解。
对于满足适当条件的方程(2)和初始策略,上述两个步骤的解存在，并且在一定条件下,当n→ 时,所得序列{??n(x)}与{un(x)}在某种意义下分别收敛于(2)的解和最优策略。
策略迭代法最初是由R.贝尔曼提出的。1960年，R.A.霍华德对于一种马尔可夫决策过程模型，提出了适用的策略迭代法，给出了相应的收敛性证明。后来，发现策略迭代法和牛顿迭代法在一定条件下的等价性，于是，从算子方程的牛顿逼近法的角度去研究策略迭代法，得到了发展。
对于范围很广的一类马尔可夫决策过程，其动态规划基本方程可以写成；式中??∈V，对所有 γ∈Γ:r(γ)∈V，γ为 V→V的线性算子,Γ为这种算子的族，而V 则是由指标值函数所构造的函数空间。假设当 ??(γ)是方程 r(γ)＋γ??＝0 的解时, 它是对应于策略γ的指标值函数。最优策略 γ定义为最优值问题的解。这时由策略迭代法所求得的序列 {??n}和{γn}满足下列关系其中为 γn+1的逆算子。当σ是加托可微时, γn+1是σ在??n处的加托导数。于是，上面的关系恰好表达了牛顿迭代法在算子方程中的推广。
例如，在最短路径问题中，设给定M个点1，2，...，M。点M是目的点,сij>0是点i到点j的距离i≠j,сij=0,i,j=1,2,...,M,要求出点i到点M的最短路。记??(i)为从i到M的最短路长度。此问题的动态规划基本方程为
(1)其策略迭代法的程序如下：选定一初始策略u0(i),在这问题中,策略u(i)的意义是从点i出发走一步后到达的点，而且作为策略,它是集{1,2,...,M-1}上的函数。由u0(i)解下列方程组求出相应的值函数??0(i)：
再由??0(i)求改进的一次迭代策略u1(i),使它是下列最小值问题的解：然后，再如前面一样,由u1(i)求出相应的值函数??1(i)，并由??1(i)求得改进的二次迭代策略u2(i),如此继续下去。 可见求解(1)的策略迭代法的程序由下列两个基本步骤组成：
①求值计算 由策略 un(i)求相应的值函数??n(i)，即求下列方程的解：
②策略改进 由值函数??n(i)求改进的策略,即求下列最小值问题的解：式中规定,如un(i)是上一问题的解,则取un+1(i)=un(i)。
在一定条件下,由任选的初始策略出发,轮换进行这两个步骤, 经有限步N后将得出对所有i,uN+1(i)=uN(i)这样求得的uN(i)就是最优策略，相应的值函数??N(i)。是方程(1)的解。
对于更一般形式的动态规划基本方程
(2)这里??，H，φ为给定实函数。上述两个步骤变成：
①求值计算 由策略un(x)求相应的值函数 ??n(x)，即求方程 之解，n=0，1，2...。
②策略改进 由值函数??n(x)求改进的策略un+1(x)，即求最优值问题的解。
对于满足适当条件的方程(2)和初始策略,上述两个步骤的解存在，并且在一定条件下,当n→ 时,所得序列{??n(x)}与{un(x)}在某种意义下分别收敛于(2)的解和最优策略。
策略迭代法最初是由R.贝尔曼提出的。1960年，R.A.霍华德对于一种马尔可夫决策过程模型，提出了适用的策略迭代法，给出了相应的收敛性证明。后来，发现策略迭代法和牛顿迭代法在一定条件下的等价性，于是，从算子方程的牛顿逼近法的角度去研究策略迭代法，得到了发展。
对于范围很广的一类马尔可夫决策过程，其动态规划基本方程可以写成；式中??∈V，对所有 γ∈Γ:r(γ)∈V，γ为 V→V的线性算子,Γ为这种算子的族，而V 则是由指标值函数所构造的函数空间。假设当 ??(γ)是方程 r(γ)＋γ??＝0 的解时, 它是对应于策略γ的指标值函数。最优策略 γ定义为最优值问题的解。这时由策略迭代法所求得的序列 {??n}和{γn}满足下列关系其中为 γn+1的逆算子。当σ是加托可微时, γn+1是σ在??n处的加托导数。于是，上面的关系恰好表达了牛顿迭代法在算子方程中的推广。
说明：补充资料仅用于学习参考，请勿用于其它任何用途。
参考词条