상태 전이 확률은 어떤 상태 i가 있을 때 그다음 상태 j가 될 확률을 의미합니다. 여기에서 P(A|B)는 조건부 확률로 B가 발생했을 때 A가 발생할 확률을 의미합니다.

예를 들어 다음 그림은 병원을 방문한 어느 하루에 대한 마르코프 체인을 표현한 것입니다. 이 날의 상태가 병원에서의 대기와 진찰, 독서, 웹 서핑, 취침으로만 구성되어 있다고 가정하면, 다섯 가지 상태가 있는 마르코프 프로세스로 표현할 수 있습니다. 이때 하나의 상태에서 다른 상태로 이동할 확률의 합은 1을 유지한 상태로, 여러 상태가 연쇄적으로 이어져 있습니다. 예를 들어 대기 → 진찰, 대기 → 독서, 대기 → 웹 서핑으로 진행되는 모든 프로세스의 합은 1이 되어야 합니다. 또한, ‘취침’은 하루를 끝마치는 종료 상태에 해당됩니다.

▲ 그림 12-2 마르코프 프로세스 사례

그리고 그림 12-2의 상태 전이 확률을 다음과 같이 행렬 형태로 정리한 것을 상태 전이 확률 행렬(state transition probability matrix)이라고 합니다.