피드포워드 신경망은 입력값을 받아 여러 계층을 거치며 정보를 전달하는 단방향 신경망으로, 트랜스포머 내에서 각 단어의 표현을 더 정교하고 유의미하게 변환하는 역할을 합니다. 피드포워드 계층은 각 단어에 대한 독립적인 변환을 수행해, 어텐션 메커니즘으로 관계를 파악한 단어들이 더 깊이 있는 표현으로 강화될 수 있도록 돕습니다.

트랜스포머의 구조는 다음과 같습니다. 복잡하니 참고만 해 주세요.

▲ 그림 2-4 트랜스포머 구조