1) vector Markov process
向量马尔可夫过程
1.
By using the theories of repairable queuing system and vector Markov process, a new method to study the reliability of shovel truck mining system is put forward and the formula of calculating the system’s steady state availability is deduced.
用可修排队系统及向量马尔可夫过程理论研究了电铲－卡车工艺系统可靠性的新方法，导出了电铲－卡车系统稳态作业有效度的计算公式。
2.
By using complementary variable method to make vector Markov process and analyzing the state-change equations of the queueing system,the generating function of two kinds of customers length distribution are drived under nonpreemptive priority.
分析带有两个优先权的非强占M/M/1系统的性能,用补充变量法构造向量马尔可夫过程对此排队系统的状态转移方程进行分析,得到两类顾客在非强占优先权的队长联合分布的母函数,进一步讨论,得出了服务台被两类顾客占有和闲置的概率以及两类信元各自的平均队长。
3.
By using complementary variable method to make vector Markov process and analyze the state-change equations of the queuing system, the generating function of two kinds of cells’ length unit distribution are derived under no preemptive priority protocol.
分析现代通信网络中带有两个优先权的非强占M/M/1系统的性能,用补充变量法构造向量马尔可夫过程对此排队系统的状态转移方程进行分析,得到两类信元在非强占优先权协议下的队长联合分布的母函数,进一步讨论,得出了服务台被两类信元占有和闲置的概率以及两类信元各自的平均队长。
2) vector Markov prooes method
向量马尔可夫过程方法
3) batch Markovian arrival processes
批量马尔可夫到达过程
1.
This paper presents an overview of the recent research results related to the batch Markovian arrival processes(BMAP) that encompasses a wide range of arrival processes.
批量马尔可夫到达过程(Batch Markovian Arrival Processes,BMAP)对平稳点过程类具有稠密性,能够描述许多到达过程,在计算机、可靠性、通信和库存等领域的随机建模中获得广泛应用,是一类非常重要的随机点过程。
4) markov process
马尔可夫过程
1.
Analysis of Reliability and Maintainability for Marine Power System Based on Markov Process;
基于马尔可夫过程的船舶电力系统可靠性和维修性分析
2.
Application of Markov Process in fund investment;
马尔可夫过程在基金投资中的应用
3.
Network reliability analysis by using Markov process;
网络系统可靠性分析的马尔可夫过程法
5) Markov processes
马尔可夫过程
1.
Distribution System Reliability Assessment Based on Boolean Logic Driven Markov Processes;
基于布尔逻辑驱动的马尔可夫过程法在配电系统可靠性评估中的应用
6) semi-Markov process
半马尔可夫过程
1.
A novel semi-Markov process model based on three-model redundant (TMR) architecture is proposed to effectively evaluate the hardware reliability for multi-sensor fusion system.
为有效评价多传感器融合系统硬件的可靠性,提出了一种新的三模冗余结构(TMR)半马尔可夫过程模型。
2.
An improvement in the state transition model of intrusion tolerance system is proposed and a semi-Markov process(SMP) model is built.
对入侵容忍系统状态转移模型进行了改进,以此构建了半马尔可夫过程(SMP)模型,并用该模型计算了各状态的稳态概率。
3.
An information transmission routing algorithm and a node mobile tracking model based on semi-Markov process for hierarchical mobile ad hoc networks were investigated.
讨论了层状移动AdHoc网络的一个信息传播路由算法和基于半马尔可夫过程的节点移动跟踪模型,通过该路由算法可以有效地解决层状子网络间的通信和信息交换。
补充资料：马尔可夫决策过程
基于马尔可夫过程理论的随机动态系统的最优决策过程，英文缩写 MDP。马尔可夫决策过程是序贯决策的主要研究领域。它是马尔可夫过程与确定性的动态规划相结合的产物，故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支。马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步（未来）的状态是随机的，并且其状态转移概率具有马尔可夫性。决策者根据新观察到的状态，再作新的决策，依此反复地进行。马尔可夫性是指一个随机过程未来发展的概率规律与观察之前的历史无关的性质。马尔可夫性又可简单叙述为状态转移概率的无后效性。状态转移概率具有马尔可夫性的随机过程即为马尔可夫过程。马尔可夫决策过程又可看作随机对策的特殊情形，在这种随机对策中对策的一方是无意志的。马尔可夫决策过程还可作为马尔可夫型随机最优控制，其决策变量就是控制变量。
发展概况 50年代R.贝尔曼研究动态规划时和L.S.沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。R.A.霍华德(1960)和D.布莱克韦尔(1962)等人的研究工作奠定了马尔可夫决策过程的理论基础。1965年，布莱克韦尔关于一般状态空间的研究和E.B.丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。凡是以马尔可夫过程作为数学模型的问题，只要能引入决策和效用结构，均可应用这种理论。
数学描述 周期地进行观察的马尔可夫决策过程可用如下五元组来描述：{S，(A(i)，i∈S，q，γ，V},其中S 为系统的状态空间（见状态空间法）；A(i)为状态i(i∈S)的可用行动（措施，控制）集；q为时齐的马尔可夫转移律族，族的参数是可用的行动； γ是定义在Γ(Г呏{(i，ɑ):a∈A(i)，i∈S}上的单值实函数；若观察到的状态为i，选用行动a，则下一步转移到状态 j的概率为q(j│i，ɑ)，而且获得报酬γ(j，ɑ),它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
策略 策略是提供给决策者在各个时刻选取行动的规则，记作 π＝(π0，π1，π2，...， πn，πn＋1...)，其中πn是时刻 n选取行动的规则。从理论上来说，为了在大范围寻求最优策略πn，最好根据时刻 n以前的历史，甚至是随机地选择最优策略。但为了便于应用，常采用既不依赖于历史、又不依赖于时间的策略，甚至可以采用确定性平稳策略。
指标 衡量策略优劣的常用指标有折扣指标和平均指标。折扣指标是指长期折扣〔把 t时刻的单位收益折合成0时刻的单位收益的βt(β<1)倍〕期望总报酬。平均指标是指单位时间的平均期望报酬。采用折扣指标的马尔可夫决策过程称为折扣模型。业已证明：若一个策略是β折扣最优的，则初始时刻的决策规则所构成的平稳策略对同一β也是折扣最优的，而且它还可以分解为若干个确定性平稳策略，它们对同一β都是最优的。现在已有计算这种策略的算法。采用平均指标的马尔可夫决策过程称为平均模型。业已证明：当状态空间S 和行动集A(i)均为有限集时，对于平均指标存在最优的确定性平稳策略；当S和（或）A(i)不是有限的情况,必须增加条件，才有最优的确定性平稳策略。计算这种策略的算法也已研制出来。
参考书目
R.A.Howard,Dynamic Programming and Markov Processes, MIT Press, Cambridge Mass., 1960.
发展概况 50年代R.贝尔曼研究动态规划时和L.S.沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。R.A.霍华德(1960)和D.布莱克韦尔(1962)等人的研究工作奠定了马尔可夫决策过程的理论基础。1965年，布莱克韦尔关于一般状态空间的研究和E.B.丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。凡是以马尔可夫过程作为数学模型的问题，只要能引入决策和效用结构，均可应用这种理论。
数学描述 周期地进行观察的马尔可夫决策过程可用如下五元组来描述：{S，(A(i)，i∈S，q，γ，V},其中S 为系统的状态空间（见状态空间法）；A(i)为状态i(i∈S)的可用行动（措施，控制）集；q为时齐的马尔可夫转移律族，族的参数是可用的行动； γ是定义在Γ(Г呏{(i，ɑ):a∈A(i)，i∈S}上的单值实函数；若观察到的状态为i，选用行动a，则下一步转移到状态 j的概率为q(j│i，ɑ)，而且获得报酬γ(j，ɑ),它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
策略 策略是提供给决策者在各个时刻选取行动的规则，记作 π＝(π0，π1，π2，...， πn，πn＋1...)，其中πn是时刻 n选取行动的规则。从理论上来说，为了在大范围寻求最优策略πn，最好根据时刻 n以前的历史，甚至是随机地选择最优策略。但为了便于应用，常采用既不依赖于历史、又不依赖于时间的策略，甚至可以采用确定性平稳策略。
指标 衡量策略优劣的常用指标有折扣指标和平均指标。折扣指标是指长期折扣〔把 t时刻的单位收益折合成0时刻的单位收益的βt(β<1)倍〕期望总报酬。平均指标是指单位时间的平均期望报酬。采用折扣指标的马尔可夫决策过程称为折扣模型。业已证明：若一个策略是β折扣最优的，则初始时刻的决策规则所构成的平稳策略对同一β也是折扣最优的，而且它还可以分解为若干个确定性平稳策略，它们对同一β都是最优的。现在已有计算这种策略的算法。采用平均指标的马尔可夫决策过程称为平均模型。业已证明：当状态空间S 和行动集A(i)均为有限集时，对于平均指标存在最优的确定性平稳策略；当S和（或）A(i)不是有限的情况,必须增加条件，才有最优的确定性平稳策略。计算这种策略的算法也已研制出来。
参考书目
R.A.Howard,Dynamic Programming and Markov Processes, MIT Press, Cambridge Mass., 1960.
说明：补充资料仅用于学习参考，请勿用于其它任何用途。
参考词条