1) policy improvement iteration
策略改进[迭代]
2) policy iteration
策略迭代
1.
Tradional algorithms to solve POMPDs are value iteration algorithm and policy iteration algorithm.
介绍了部分可观察Markov决策过程的基本原理和决策过程,提出一种基于策略迭代和值迭代的部分可观察Markov决策算法,该算法利用线性规划和动态规划的思想,解决当信念状态空间较大时出现的"维数灾"问题,得到Markov决策的逼近最优解。
2.
By the equivalent Markov process, formulas of performance potentials and average-cost optimality equations for SMCPs are derived, and a policy iteration algorithm and a value iteration algorithm are proposed, which can lead to an optimal or suboptimal stationary policy in a finite number of iterations.
利用等价Markov过程的方法,导出了SMCP的性能势公式和平均代价最优性方程,给出了求解最优或次最优平稳策略的策略迭代算法和数值迭代算法,并证明了算法的收敛性。
3.
An appropriate selection of basis function directly in?uences the learning performance of a policy iteration method during the value function approximation.
在策略迭代结强化学习方法的值函数逼近过程中,基函数的合理选择直接影响方法的性能。
3) Iterative strategy
迭代策略
1.
The al-gorithm is a integration of progressive alignment approach and iterative strategy.
该算法先用渐进方法进行多序列比对,然后通过迭代策略,利用上一轮多序列比对结果修正指导树,产生新一轮比对。
4) Iterative improvement
迭代改进
1.
Aiming at difficulties of the method in solving parameters, this study carries through the iterative improvement.
针对二项式产能方程法在求解参数过程中存在的难点,对该方法进行了迭代改进,并编写了相应程序,提高了计算效率及精度。
5) improvement
[英][ɪm'pru:vmənt] [美][ɪm'pruvmənt]
改进策略
1.
The Obstruction of Census Register System in the Realization of Education Equity and Reflections on Its Tactical Improvement;
户籍制度在实现教育公平中的阻滞作用及其改进策略思考
6) improvement strategy
改进策略
1.
Problem and Improvement Strategy on the Legal System Education in the Universities and Colleges;
高校法制教育中的问题及改进策略研究
2.
The paper addresses an efficiency measurement and an improvement strategy for the Formal Software Evolution Process Model(FSEPM).
提出了一种支持形式化的软件演化过程模型的效率度量方法和改进策略。
3.
Based on the datas of the investigation, the author proposed an improvement strategy and creatively applied visual instruments on recitation.
笔者首先对L外国语中学三个年级300名学生进行了随机问卷调查,从态度、认知和实际应用三个层面进行调查分析并着重从应用层面提出相应的改进策略,其中创造性地提出将可视化工具运用于背诵以增进信息的编码与加工。
补充资料：策略迭代法
动态规划中求最优策略的基本方法之一。它借助于动态规划基本方程，交替使用"求值计算"和"策略改进"两个步骤，求出逐次改进的、最终达到或收敛于最优策略的策略序列。
例如，在最短路径问题中，设给定M个点1，2，...，M。点M是目的点,сij>0是点i到点j的距离i≠j,сij=0,i,j=1,2,...,M,要求出点i到点M的最短路。记??(i)为从i到M的最短路长度。此问题的动态规划基本方程为
(1)其策略迭代法的程序如下：选定一初始策略u0(i),在这问题中,策略u(i)的意义是从点i出发走一步后到达的点，而且作为策略,它是集{1,2,...,M-1}上的函数。由u0(i)解下列方程组求出相应的值函数??0(i)：
再由??0(i)求改进的一次迭代策略u1(i),使它是下列最小值问题的解：然后，再如前面一样,由u1(i)求出相应的值函数??1(i)，并由??1(i)求得改进的二次迭代策略u2(i),如此继续下去。 可见求解(1)的策略迭代法的程序由下列两个基本步骤组成：
①求值计算 由策略 un(i)求相应的值函数??n(i)，即求下列方程的解：
②策略改进 由值函数??n(i)求改进的策略,即求下列最小值问题的解：式中规定,如un(i)是上一问题的解,则取un+1(i)=un(i)。
在一定条件下,由任选的初始策略出发,轮换进行这两个步骤, 经有限步N后将得出对所有i,uN+1(i)=uN(i)这样求得的uN(i)就是最优策略，相应的值函数??N(i)。是方程(1)的解。
对于更一般形式的动态规划基本方程
(2)这里??，H，φ为给定实函数。上述两个步骤变成：
①求值计算 由策略un(x)求相应的值函数 ??n(x)，即求方程 之解，n=0，1，2...。
②策略改进 由值函数??n(x)求改进的策略un+1(x)，即求最优值问题的解。
对于满足适当条件的方程(2)和初始策略,上述两个步骤的解存在，并且在一定条件下,当n→ 时,所得序列{??n(x)}与{un(x)}在某种意义下分别收敛于(2)的解和最优策略。
策略迭代法最初是由R.贝尔曼提出的。1960年，R.A.霍华德对于一种马尔可夫决策过程模型，提出了适用的策略迭代法，给出了相应的收敛性证明。后来，发现策略迭代法和牛顿迭代法在一定条件下的等价性，于是，从算子方程的牛顿逼近法的角度去研究策略迭代法，得到了发展。
对于范围很广的一类马尔可夫决策过程，其动态规划基本方程可以写成；式中??∈V，对所有 γ∈Γ:r(γ)∈V，γ为 V→V的线性算子,Γ为这种算子的族，而V 则是由指标值函数所构造的函数空间。假设当 ??(γ)是方程 r(γ)＋γ??＝0 的解时, 它是对应于策略γ的指标值函数。最优策略 γ定义为最优值问题的解。这时由策略迭代法所求得的序列 {??n}和{γn}满足下列关系其中为 γn+1的逆算子。当σ是加托可微时, γn+1是σ在??n处的加托导数。于是，上面的关系恰好表达了牛顿迭代法在算子方程中的推广。
例如，在最短路径问题中，设给定M个点1，2，...，M。点M是目的点,сij>0是点i到点j的距离i≠j,сij=0,i,j=1,2,...,M,要求出点i到点M的最短路。记??(i)为从i到M的最短路长度。此问题的动态规划基本方程为
(1)其策略迭代法的程序如下：选定一初始策略u0(i),在这问题中,策略u(i)的意义是从点i出发走一步后到达的点，而且作为策略,它是集{1,2,...,M-1}上的函数。由u0(i)解下列方程组求出相应的值函数??0(i)：
再由??0(i)求改进的一次迭代策略u1(i),使它是下列最小值问题的解：然后，再如前面一样,由u1(i)求出相应的值函数??1(i)，并由??1(i)求得改进的二次迭代策略u2(i),如此继续下去。 可见求解(1)的策略迭代法的程序由下列两个基本步骤组成：
①求值计算 由策略 un(i)求相应的值函数??n(i)，即求下列方程的解：
②策略改进 由值函数??n(i)求改进的策略,即求下列最小值问题的解：式中规定,如un(i)是上一问题的解,则取un+1(i)=un(i)。
在一定条件下,由任选的初始策略出发,轮换进行这两个步骤, 经有限步N后将得出对所有i,uN+1(i)=uN(i)这样求得的uN(i)就是最优策略，相应的值函数??N(i)。是方程(1)的解。
对于更一般形式的动态规划基本方程
(2)这里??，H，φ为给定实函数。上述两个步骤变成：
①求值计算 由策略un(x)求相应的值函数 ??n(x)，即求方程 之解，n=0，1，2...。
②策略改进 由值函数??n(x)求改进的策略un+1(x)，即求最优值问题的解。
对于满足适当条件的方程(2)和初始策略,上述两个步骤的解存在，并且在一定条件下,当n→ 时,所得序列{??n(x)}与{un(x)}在某种意义下分别收敛于(2)的解和最优策略。
策略迭代法最初是由R.贝尔曼提出的。1960年，R.A.霍华德对于一种马尔可夫决策过程模型，提出了适用的策略迭代法，给出了相应的收敛性证明。后来，发现策略迭代法和牛顿迭代法在一定条件下的等价性，于是，从算子方程的牛顿逼近法的角度去研究策略迭代法，得到了发展。
对于范围很广的一类马尔可夫决策过程，其动态规划基本方程可以写成；式中??∈V，对所有 γ∈Γ:r(γ)∈V，γ为 V→V的线性算子,Γ为这种算子的族，而V 则是由指标值函数所构造的函数空间。假设当 ??(γ)是方程 r(γ)＋γ??＝0 的解时, 它是对应于策略γ的指标值函数。最优策略 γ定义为最优值问题的解。这时由策略迭代法所求得的序列 {??n}和{γn}满足下列关系其中为 γn+1的逆算子。当σ是加托可微时, γn+1是σ在??n处的加托导数。于是，上面的关系恰好表达了牛顿迭代法在算子方程中的推广。
说明：补充资料仅用于学习参考，请勿用于其它任何用途。
参考词条