더북(TheBook)

 

1가중치, 가중합, 바이어스, 활성화 함수

 

로지스틱 회귀가 곧 퍼셉트론의 개념이라고 이야기했던 것 기억하나요? 퍼셉트론은 이미 여러분이 배운 것과 다르지 않습니다. 다만 용어 정리를 좀 하겠습니다. 중학교 수학 수준에 맞춰 설명했던 기울기 a나 y 절편 b와 같은 용어를 퍼셉트론의 개념에 맞춰 좀 더 ‘딥러닝답게’ 표현해 보면 다음과 같습니다.

 

y = ax + b (a는 기울기, b는 y 절편)

→ y = wx + b (w는 가중치, b는 바이어스)

 

먼저 기울기 a는 퍼셉트론에서는 가중치를 의미하는 w(weight)로 표기됩니다. y 절편 b는 뭐라고 표기할까요? 똑같이 b라고 씁니다. 하지만 y = ax + b의 b가 아니라 편향, 선입견이라는 뜻인 바이어스(bias)에서 따온 b입니다. 그림 6-1을 보면 기울기가 가중치 w로, y 절편은 바이어스의 b로 표기된 것을 알 수 있습니다.

그리고 이 그림에 가중합(weighted sum)이라는 용어가 처음 등장했습니다. 입력 값(x)과 가중치(w)의 곱을 모두 더한 다음 거기에 바이어스(b)를 더한 값을 가중합이라고 합니다. 가중합의 결과를 놓고 1 또는 0을 출력해서 다음으로 보냅니다. 여기서 0과 1을 판단하는 함수가 있는데, 이를 활성화 함수(activation function)라고 합니다. 앞서 배웠던 시그모이드 함수가 바로 대표적인 활성화 함수입니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.