따라서 다음 식이 도출됩니다.

또한, 수식 ⑤의 행동-가치 함수를 ④의 수식에 대입하면 다음과 같이 정리할 수 있습니다.

행동-가치 함수

이번에는 행동-가치 함수의 벨만 방정식을 유도해 보겠습니다.

먼저 행동-가치 함수를 정리하면 다음과 같습니다.

또한, 다음과 같은 정리가 가능합니다.

이제 수식을 R^a_s와 P_ss'^a로 바꾸어 주면 다음과 같이 정리할 수 있습니다.