모든 미분 가능한(미분 가능하다는 것은 도함수를 유도할 수 있다는 의미로, 예를 들어 매끄럽고 연속적인 함수입니다) 함수 f(x)에 대해 x 값을 f의 국부적인 선형 근사인 그 지점의 기울기로 매핑하는 도함수 f'(x)가 존재합니다. 예를 들어 cos(x)의 도함수는 -sin(x)고, f(x) = a * x의 도함수는 f'(x) = a입니다.

함수를 미분할 수 있다는 것은 f(x)의 값을 최소화하는 x 값을 찾는 작업인 최적화(optimization)에 매우 강력한 도구입니다. f(x)를 최소화하기 위해 epsilon_x만큼 x를 업데이트하고 싶을 때 f의 도함수를 알고 있으면 해결됩니다. 도함수는 x가 바뀜에 따라 f(x)가 어떻게 바뀔지 설명해 줍니다. f(x)의 값을 감소시키고 싶다면 x를 도함수의 방향과 반대로 조금 이동해야 합니다.