더북(TheBook)

구체적으로 두 개의 입력 x = 2y = 5, 가중치 값 v = 0이 있다고 생각해 보죠. 이 값으로 손실을 계산하면 25가 됩니다. 그림 2-9에 이 과정이 단계적으로 나타나 있습니다. 패널 A의 회색 사각형은 입력(즉, xy)을 나타냅니다. 흰색 사각형은 연산입니다. 여기에는 총 세 개의 연산이 있습니다. 연산을 연결하는 에지(edge)e1, e2, e3입니다(e1은 튜닝 가능한 가중치 v와 첫 번째 연산을 연결합니다).

▲ 그림 2-9 업데이트할 수 있는 하나의 가중치(v)만 가진 간단한 선형 모델을 통한 역전파 알고리즘 설명. 패널 A: 모델의 정방향 패스(forward pass) - 가중치(w)와 입력(x와 y)에서 손실 값을 계산한다. 패널 B: 역방향 패스(backward pass) - v에 대한 손실의 그레이디언트를 손실에서부터 v까지 단계별로 계산한다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.