2.5.1 텐서플로를 사용하여 첫 번째 예제를 밑바닥부터 다시 구현하기

밑바닥부터 모든 것을 구현해 보는 것보다 완전하고 명확하게 이해하는 더 좋은 방법이 있을까요? 물론 ‘밑바닥’이 의미하는 것은 상대적입니다. 기본적인 텐서 연산과 역전파는 다시 구현하지 않습니다. 하지만 케라스 기능을 사용하지 않는 저수준의 구현을 만들어 보겠습니다.

이 예제의 모든 상세한 내용을 이해하지 못하더라도 걱정하지 마세요. 다음 장에서 텐서플로 API에 대해 자세하게 설명하겠습니다. 지금은 진행되는 내용의 핵심만 파악해도 됩니다. 이 예제의 목적은 구체적인 구현을 통해 딥러닝 이면의 수학 이론을 명확하게 이해하도록 돕는 것입니다. 그럼 시작해 보죠!

단순한 Dense 클래스

앞서 Dense 층이 다음과 같은 입력 변환을 구현한다고 배웠습니다. 여기에서 W와 b는 모델 파라미터고 activation은 각 원소에 적용되는 함수입니다(일반적으로 relu이지만 마지막 층에는 softmax를 사용합니다).

output = activation(dot(W, input) + b)