1) generalized semi Markov process
广义半马尔可夫过程
2) generalized Markov process
广义马尔可夫过程
1.
By using the supplementary variables approach and generalized Markov process method, some important reliability indices are obtained.
假定部件的寿命、修理时间和修理工的休假时间均服从一般连续型分布,修理工的延误休假时间服从指数分布,通过使用补充变量法和广义马尔可夫过程方法,得到了系统的一些主要可靠性指标。
2.
By using the supplementary variables approach and generalized Markov process method,the Laplace transform of the reliability and the mean time to the first failure were attained.
用补充变量法和广义马尔可夫过程的方法,用拉普拉斯变换工具,求得了系统的可靠度的拉普拉斯变换式、首次故障前平均时间、稳态可用度和稳态故障频度等重要可靠性指标,并通过与无休假系统的比较,进行了效益分析。
3.
By using the supplementary variables approach and generalized Markov process method,the Laplace transforms of the reliability and the mean time to first failure are attained.
研究了修理工可进行多重延误休假的Gnedenko系统,假定部件的寿命和修理工的延误休假时间服从指数分布,部件的修理时间和修理工的休假时间服从一般连续型分布,通过使用补充变量法和广义马尔可夫过程方法,得到了系统的可靠度的Laplace变换、首次故障前平均时间、稳态可用度和稳态故障频度等重要可靠性指标。
3) semi-Markov process
半马尔可夫过程
1.
A novel semi-Markov process model based on three-model redundant (TMR) architecture is proposed to effectively evaluate the hardware reliability for multi-sensor fusion system.
为有效评价多传感器融合系统硬件的可靠性,提出了一种新的三模冗余结构(TMR)半马尔可夫过程模型。
2.
An improvement in the state transition model of intrusion tolerance system is proposed and a semi-Markov process(SMP) model is built.
对入侵容忍系统状态转移模型进行了改进,以此构建了半马尔可夫过程(SMP)模型,并用该模型计算了各状态的稳态概率。
3.
An information transmission routing algorithm and a node mobile tracking model based on semi-Markov process for hierarchical mobile ad hoc networks were investigated.
讨论了层状移动AdHoc网络的一个信息传播路由算法和基于半马尔可夫过程的节点移动跟踪模型,通过该路由算法可以有效地解决层状子网络间的通信和信息交换。
4) semi Markov process
半马尔可夫过程
1.
In the reliability analyzing of such a system, Markov process and semi Markov process theory can be applied to describing the original working condition of the system.
在容错控制系统的可靠性分析中 ,利用马尔可夫过程和半马尔可夫过程理论对容错系统进行可靠性建模能够较为真实地描述系统的实际工作情况。
5) semi-Markov decision process
半马尔可夫决策过程
1.
For a class of controlled semi-Markov systems,which are formulated as semi-Markov decision processes(SMDPs),some parameters are usually indeterminate or unknown,and the performance function or the system parameters,i.
半马尔可夫决策过程(SMDP)描述的一类受控半Markov系统,其模型参数在实际中常常不确定或不可知,可能导致随机过程的性能函数和系统参数(即嵌入链转移概率和状态逗留时间分布)皆不确定。
2.
The problems whose systems with sojourn times can often be modeled as semi-Markov decision process (SMDP).
当决策行为执行从时刻点扩展到连续时间上时,经典的马尔可夫决策过程模型也扩展到半马尔可夫决策过程模型(SMDP)。
6) Semi-Markov decision processes (SMDP)
半马尔可夫决策过程
1.
In this paper, an optimal Call Admisition Control (CAC) scheme based on Semi-Markov Decision Processes (SMDP) is presented to support multiple class services for QoS wireless networks.
该文提出了一个基于半马尔可夫决策过程理论的最优准入控制策略来支持有服务质量要求的多类业务的无线CDMA网络。
补充资料：马尔可夫决策过程
基于马尔可夫过程理论的随机动态系统的最优决策过程，英文缩写 MDP。马尔可夫决策过程是序贯决策的主要研究领域。它是马尔可夫过程与确定性的动态规划相结合的产物，故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支。马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步（未来）的状态是随机的，并且其状态转移概率具有马尔可夫性。决策者根据新观察到的状态，再作新的决策，依此反复地进行。马尔可夫性是指一个随机过程未来发展的概率规律与观察之前的历史无关的性质。马尔可夫性又可简单叙述为状态转移概率的无后效性。状态转移概率具有马尔可夫性的随机过程即为马尔可夫过程。马尔可夫决策过程又可看作随机对策的特殊情形，在这种随机对策中对策的一方是无意志的。马尔可夫决策过程还可作为马尔可夫型随机最优控制，其决策变量就是控制变量。
发展概况 50年代R.贝尔曼研究动态规划时和L.S.沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。R.A.霍华德(1960)和D.布莱克韦尔(1962)等人的研究工作奠定了马尔可夫决策过程的理论基础。1965年，布莱克韦尔关于一般状态空间的研究和E.B.丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。凡是以马尔可夫过程作为数学模型的问题，只要能引入决策和效用结构，均可应用这种理论。
数学描述 周期地进行观察的马尔可夫决策过程可用如下五元组来描述：{S，(A(i)，i∈S，q，γ，V},其中S 为系统的状态空间（见状态空间法）；A(i)为状态i(i∈S)的可用行动（措施，控制）集；q为时齐的马尔可夫转移律族，族的参数是可用的行动； γ是定义在Γ(Г呏{(i，ɑ):a∈A(i)，i∈S}上的单值实函数；若观察到的状态为i，选用行动a，则下一步转移到状态 j的概率为q(j│i，ɑ)，而且获得报酬γ(j，ɑ),它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
策略 策略是提供给决策者在各个时刻选取行动的规则，记作 π＝(π0，π1，π2，...， πn，πn＋1...)，其中πn是时刻 n选取行动的规则。从理论上来说，为了在大范围寻求最优策略πn，最好根据时刻 n以前的历史，甚至是随机地选择最优策略。但为了便于应用，常采用既不依赖于历史、又不依赖于时间的策略，甚至可以采用确定性平稳策略。
指标 衡量策略优劣的常用指标有折扣指标和平均指标。折扣指标是指长期折扣〔把 t时刻的单位收益折合成0时刻的单位收益的βt(β<1)倍〕期望总报酬。平均指标是指单位时间的平均期望报酬。采用折扣指标的马尔可夫决策过程称为折扣模型。业已证明：若一个策略是β折扣最优的，则初始时刻的决策规则所构成的平稳策略对同一β也是折扣最优的，而且它还可以分解为若干个确定性平稳策略，它们对同一β都是最优的。现在已有计算这种策略的算法。采用平均指标的马尔可夫决策过程称为平均模型。业已证明：当状态空间S 和行动集A(i)均为有限集时，对于平均指标存在最优的确定性平稳策略；当S和（或）A(i)不是有限的情况,必须增加条件，才有最优的确定性平稳策略。计算这种策略的算法也已研制出来。
参考书目
R.A.Howard,Dynamic Programming and Markov Processes, MIT Press, Cambridge Mass., 1960.
发展概况 50年代R.贝尔曼研究动态规划时和L.S.沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。R.A.霍华德(1960)和D.布莱克韦尔(1962)等人的研究工作奠定了马尔可夫决策过程的理论基础。1965年，布莱克韦尔关于一般状态空间的研究和E.B.丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。凡是以马尔可夫过程作为数学模型的问题，只要能引入决策和效用结构，均可应用这种理论。
数学描述 周期地进行观察的马尔可夫决策过程可用如下五元组来描述：{S，(A(i)，i∈S，q，γ，V},其中S 为系统的状态空间（见状态空间法）；A(i)为状态i(i∈S)的可用行动（措施，控制）集；q为时齐的马尔可夫转移律族，族的参数是可用的行动； γ是定义在Γ(Г呏{(i，ɑ):a∈A(i)，i∈S}上的单值实函数；若观察到的状态为i，选用行动a，则下一步转移到状态 j的概率为q(j│i，ɑ)，而且获得报酬γ(j，ɑ),它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
策略 策略是提供给决策者在各个时刻选取行动的规则，记作 π＝(π0，π1，π2，...， πn，πn＋1...)，其中πn是时刻 n选取行动的规则。从理论上来说，为了在大范围寻求最优策略πn，最好根据时刻 n以前的历史，甚至是随机地选择最优策略。但为了便于应用，常采用既不依赖于历史、又不依赖于时间的策略，甚至可以采用确定性平稳策略。
指标 衡量策略优劣的常用指标有折扣指标和平均指标。折扣指标是指长期折扣〔把 t时刻的单位收益折合成0时刻的单位收益的βt(β<1)倍〕期望总报酬。平均指标是指单位时间的平均期望报酬。采用折扣指标的马尔可夫决策过程称为折扣模型。业已证明：若一个策略是β折扣最优的，则初始时刻的决策规则所构成的平稳策略对同一β也是折扣最优的，而且它还可以分解为若干个确定性平稳策略，它们对同一β都是最优的。现在已有计算这种策略的算法。采用平均指标的马尔可夫决策过程称为平均模型。业已证明：当状态空间S 和行动集A(i)均为有限集时，对于平均指标存在最优的确定性平稳策略；当S和（或）A(i)不是有限的情况,必须增加条件，才有最优的确定性平稳策略。计算这种策略的算法也已研制出来。
参考书目
R.A.Howard,Dynamic Programming and Markov Processes, MIT Press, Cambridge Mass., 1960.
说明：补充资料仅用于学习参考，请勿用于其它任何用途。
参考词条