활용과 탐험을 반복하는 큐-러닝의 학습 절차는 다음과 같습니다.

1. 초기화: 큐-테이블(Q-table)¹에 있는 모든 큐 값을 ‘0’으로 초기화합니다.

Q = np.zeros([env.observation_space.n, env.action_space.n])

2. 행동 a를 선택하고 실행합니다.

3. 보상 r과 다음 상태 s'를 관찰합니다.

4. 상태 s'에서 가능한 모든 행동에 대해 가장 높은 큐 값을 갖는 행동인 a'를 선택합니다.