4. 위치 인코딩
트랜스포머는 문장을 동시에 처리하기 때문에 단어의 순서를 자연스럽게 알 수 없습니다. 이를 보완하기 위해 위치 인코딩(positional encoding)을 사용합니다. 각 단어에 위치 정보를 추가해 모델이 단어의 순서를 함께 이해할 수 있도록 합니다.
5. 피드포워드 신경망과 안정화 기법
어텐션을 통과한 결과는 피드포워드 신경망(feed-forward network)을 거쳐 추가 변환됩니다. 이 과정은 단어 간 관계를 더욱 정교하게 만드는 역할을 합니다. 또한 학습을 안정적으로 진행하기 위해 다음과 같은 기법을 함께 사용합니다.
• 잔차 연결(residual connection): 입력 정보를 그대로 더해 정보 손실을 줄임
• 계층 정규화(layer normalization): 값의 분포를 일정하게 유지해 학습 안정성 확보
이처럼 여러 구성 요소가 함께 작동하면서 트랜스포머는 문장의 전체 문맥을 효과적으로 이해할 수 있는 구조를 갖추게 됩니다. 이 구조 덕분에 LLM은 긴 문장에서도 단어 간 관계를 파악하고, 자연스러운 텍스트를 생성할 수 있습니다.