马氏决策过程是研究多阶段决策问题的一种方法,其基本思想是着重于决策过程的形象化描述,包括有:决策时刻、系统状态、行动、报酬和转移概率等组成因素.如果直接观测决策过程的一个阶段,就会发现每个阶段都具有如下的逻辑特征:在观察到系统的一个状态后,选取一个决策行动,因此产生一个报酬并且通过转移概率函数决定下一个决策阶段的状态.所以,马氏决策的基本模型需要描述系统的状态、决策者能够采用的决策行为、与决策行为相关的收益或者费用、以及系统状态在决策行为的干预下状态发生转移的规律等等.当然,决策的目的是要优化决策者关心的目标函数,使得目标函数极大化的系列决策方案构成了最优策略.