이 기울기로 무엇을 알 수 있을까요? 바로 그다음 값에 대한 예측이 가능합니다. 기울기가 가파를수록 다음 값의 변화가 크다는 것을 알 수 있고, 기울기가 완만할수록 값의 변화가 얼마 없다는 것을 알 수 있습니다. 바로 이러한 미분 개념을 사용하여 인공 신경망의 오차를 수정해 나갑니다. 이처럼 경사 하강법의 핵심은 미분이며, 이를 정확하게 이해하려면 일정 수준 이상의 수학 지식이 필요합니다.

이 기울기에 따라 가중치를 변경하면 오차를 줄일 수 있습니다. 하지만 가중치를 얼마만큼 이동하는 것이 좋을까요? 이렇게 경사 하강법을 이용하여 가중치를 어느 정도로 이동할 것인지를 결정하는 여러 방법이 있습니다. 바로 옵티마이저(optimizer)를 사용하는 것입니다.