이제 수식을 R^a_s와 P_ss'^a으로 바꾸어 주면 다음과 같이 정리할 수 있습니다.

정리된 수식에 또다시 다음의 상태-가치 함수를 적용합니다.

이제 행동-가치 함수를 다음과 같이 정리할 수 있습니다.

행동-가치 함수는 최종적으로 다음과 같이 정리할 수 있습니다.

앞서 정리한 상태-가치 함수와 행동-가치 함수를 사용하여 현재와 바로 다음 상태, 그리고 행동 간 관계가 드러나도록 다음과 같이 수식을 정리했습니다.