1.5.1.1 레이어: 케라스 신경망의 최소 단위

케라스의 레이어는 마치 원자와 같이 신경망을 구성하는 최소 단위다. 각 레이어는 전달받은 입력값을 수학 공식에 적용해 다음 레이어로 출력값을 보낸다. 케라스의 주요 레이어에는 밀집 레이어(dense layer), 활성화 레이어(activation layer), 드롭아웃 레이어(dropout layer)가 있다. 그 외에도 컨볼루션 레이어(convolution layer)나 풀링 레이어(pooling layer) 등과 같은 고급 레이어도 지원한다. 책의 프로젝트는 이 모든 레이어를 두루 사용한다.

우선 케라스에서 가장 많이 사용하는 밀집 레이어를 예시로 살펴보자. 밀집 레이어는 완전 연결 레이어(fully-connected layer)라고도 부른다. 완전 연결이라고 부르는 이유는 모든 입력값을 공식에 적용해 출력을 계산하기 때문이다.

다시 말해 밀집 레이어는 다음 수학 함수를 구현한 것이다.

은 출력, σ는 활성화 함수, x는 입력이다. W와 b는 각각 가중치와 편향이다. 이 공식은 이미 1.3.3절에서 신경망을 구현할 때 사용했다.