1단계: x의 초깃값을 3으로 보고 x = 3에서 시작하여 함수의 기울기를 찾아보자. 여기서 기울기는 dy/dx = 2 × (x + 5)가 된다.

2단계: 1단계에서 구한 기울기를 x축에서 왼쪽 방향으로 움직여보자. 이때 얼마나 움직여야 할까? 우선 x축에서 0.01씩 움직이는데, 이를 학습률(learning rate)이라고 하자. 이때 초깃값 3과 학습률 0.01을 대입하면 x값이 나온다.

= 3 - 0.01 × 2 × (3_5)

= 2.84

3단계: 2단계를 반복해서 수행한다. 2단계에서 새로 계산된 x값은 다음 단계의 초깃값으로 사용된다.

= 2.84 - 0.01 × 2 × (2.84_5)

= 2.6832

= 2.6832 = 0.01 × 2 × (2.6832+5)

= 2.529536

⋮

(계속 반복)

위의 계산을 계속 반복하면 처음 3에서 시작한 x값이 계속 업데이트되어 계산되는 것을 볼 수 있다. 그리고 이전 단계의 x와 다음 단계의 x를 비교하면 값의 차이가 점점 줄어드는 것도 볼 수 있다. 이 계산을 무한정 반복할 수 없으니, 우리가 생각하는 기준(tolerance rate)보다 이전 단계의 x와 새로 계산한 x의 차이가 작아지면 계산을 멈춘다.