Note ≡ 로지스틱 회귀를 위한 경사 하강법 알고리즘

미적분을 사용하면 경사 하강법을 사용한 로지스틱 회귀의 가중치 업데이트가 2장 아달린에서 사용한 식과 같다는 것을 보일 수 있습니다. 다음에 나오는 경사 하강법의 학습 규칙 유도는 로지스틱 회귀에서 경사 하강법 이면에 있는 수학적 개념을 알고 싶은 독자를 위한 것입니다. 이 장 나머지를 진행하는 데 필수적인 것은 아닙니다.

먼저 j번째 가중치에 대한 로그 가능도 함수의 편도 함수를 계산해 보죠.

계속하기 전에 시그모이드 함수의 편도 함수를 계산해 보겠습니다.

이제 첫 번째 식에 를 넣으면 다음 식을 얻습니다.

로그 가능도를 최대화하는 가중치를 찾는 것이 목적이므로 각 가중치를 다음과 같이 업데이트합니다.