역전파를 명확하게 설명하기 위해 아주 간단한 계산 그래프를 살펴보겠습니다(그림 2-22). 이 계산 그래프를 그림 2-21의 간소화된 버전으로 생각할 수 있습니다. 하나의 선형 층만 있고 모든 변수는 스칼라입니다. 2개의 스칼라 변수 w와 b, 스칼라 입력 x를 받아 몇 개의 연산을 적용하여 출력 y를 만듭니다. 마지막으로 절댓값 오차 손실 함수 loss_val = abs(y_true - y)를 적용하겠습니다. loss_val을 최소화하도록 w와 b를 업데이트하기 위해 grad(loss_val, b)와 grad(loss_val, w)를 계산하겠습니다.

▲ 그림 2-23 정방향 패스 실행

입력 x, 타깃 y_true, w, b에 해당하는 이 그래프의 ‘입력 노드(input node)’에 구체적인 값을 설정해 보죠. 이 값을 loss_val에 도달할 때까지 위에서 아래로 그래프의 모든 노드에 전파하겠습니다. 이것이 정방향 패스입니다(그림 2-23).