12.2.1 마르코프 프로세스
마르코프 프로세스(Markov Process, MP)는 어떤 상태가 일정한 간격으로 변하고, 다음 상태는 현재 상태에만 의존하는 확률적 상태 변화를 의미합니다. 즉, 현재 상태에 대해서만 다음 상태가 결정되며, 현재 상태까지의 과정은 전혀 고려할 필요가 없습니다. 이렇듯 변화 상태들이 체인처럼 엮여 있다고 하여 마르코프 체인(Markov chain)이라고도 합니다.
또 다른 마르코프 프로세스의 정의로는 마르코프 특성(Markov property)을 지니는 이산 시간(discrete time)에 대한 확률 과정(stochastic process)입니다. 확률 과정은 앞서 살펴보았듯이 시간에 따라 어떤 사건의 확률이 변화하는 과정을 의미하며, 이산 시간은 시간이 연속적이 아닌 이산적으로 변함을 의미합니다. 또한, 마르코프 특성은 과거 상태들(S1, …, St-1)과 현재 상태(St)가 주어졌을 때, 미래 상태(St+1)는 과거 상태와는 독립적으로 현재 상태로만 결정된다는 것을 의미합니다. 즉, 과거와 현재 상태 모두를 고려했을 때 미래 상태가 나타날 확률과 현재 상태만 고려했을 때 미래 상태가 발생할 확률이 동일하다는 의미입니다. 이것을 수식으로 표현하면 다음과 같습니다.
마르코프 체인은 시간에 따른 상태 변화를 나타내며, 이때 상태 변화를 전이(transition)라고 합니다. 마르코프 프로세스에서 상태 간 이동인 전이는 확률로 표현하게 되는데, 이를 상태 전이 확률(state transition probability)이라고 합니다. 즉, 시간 t에서의 상태를 s라고 하며, 시간 t+1에서의 상태를 s'라고 할 때 상태 전이 확률은 다음과 같이 수식으로 표현할 수 있습니다.
