▲ 그림 1-13 역전파 알고리즘 개념도
출처: https://velog.io/@peterpictor/딥러닝-오류-역전파

역전파 알고리즘은 다음 세 단계로 작동합니다.

1. 순방향 전파: 입력 데이터를 신경망에 통과시켜 출력값(예측값)을 생성합니다.

2. 오차 계산: 출력값과 실제 값의 차이를 계산해 손실 함수(loss function)로 오차를 수치화합니다.

3. 역방향 전파: 연쇄 법칙을 사용해 오차를 출력층에서 은닉층, 입력층 순으로 전달하며, 각 가중치가 손실에 얼마나 기여했는지를 계산합니다. 이후 경사 하강법(gradient descent)을 이용해 각 가중치를 업데이트합니다.