하지만 위 그림처럼 가중치는 바로 심층 신경망의 각 뉴런과 뉴런을 연결하는 선에 있습니다. 각 선에는 가중치라는 서로 다른 값들이 저장되어 있습니다. 그리고 편향 값은 각 층에 하나의 값으로 존재합니다.
결국 한 뉴런에서 다음 뉴런으로 전달되는 신호 세기는 가중치와 편향에 의해 결정됩니다. 그래서 인공 신경망에서는 가중치가 상당히 중요합니다. 각각의 뉴런을 잇는 가중치가 어떠한 값을 가졌는지에 따라 학습이 잘 된 신경망인지, 그렇지 않은 신경망인지 구분됩니다. 즉, 인공 신경망이 학습한다는 의미는 이 가중치와 편향 값을 각 데이터에 맞게끔 정교하게 맞추어 간다는 의미입니다.
인공 신경망의 층이 깊어질수록 이 가중치 값은 그에 비례해서 많아집니다. 각각의 값을 최적화할 때에는 컴퓨터의 성능이 중요한 역할을 담당하게 되죠. 그래서 인공 신경망을 할 때에는 성능이 좋은 컴퓨터가 있으면 더 빨리 계산할 수 있습니다.
잠깐만요
가중치와 편향
인공 신경망을 조금 더 깊이 공부하면 가중치와 편향이 인공 신경망의 기초 개념이라는 것을 알 수 있습니다. 그만큼 중요한 개념입니다.
가중치라는 말의 뜻에서 볼 수 있듯이, 가중치는 그 값이 얼마나 중요한지 그렇지 않은지를 표현하기 위한 도구입니다. 인공 신경망에서도 각 뉴런에서 다음 뉴런으로 신호를 전달할 때 그 값의 중요도를 표현하기 위해 사용되지요.
그렇다면 편향이란 무엇일까요? 편향이란 한쪽으로 치우친다는 것을 의미합니다. 예를 들어 “그 사람은 어떤 신념에 편향되어 있다”처럼 사용하죠. 인공 신경망에서는 모델의 성능을 높이기 위해 가중치를 거쳐 변환된 신호 세기를 조절할 필요가 있습니다. 이를 위해 한쪽으로 치우치는 값을 더할 때 편향이라는 값을 사용합니다.
지금까지 인공 신경망의 각 뉴런에서 다음 뉴런으로 값을 어떻게 전달하는지 살펴봤습니다.