2. 멀티 헤드 어텐션
멀티 헤드 어텐션(multi-head attention)은 셀프 어텐션을 한 번만 수행하지 않고, 여러 번 병렬로 수행한 뒤 결과를 결합하는 방식입니다. 각 어텐션은 서로 다른 관점에서 문장을 해석합니다. 예를 들어 어떤 어텐션은 문법 구조를, 다른 어텐션은 의미적 관계를 더 강조합니다. 이처럼 다양한 관점을 동시에 반영함으로써 문장 이해 능력이 향상됩니다.
3. 인코더-디코더 구조
트랜스포머는 원래 입력 문장을 받아 다른 문장으로 변환하는 번역과 같은 작업을 위해 설계되었습니다. 이 구조는 크게 두 부분으로 나뉩니다.
• 인코더(encoder): 입력 문장을 문맥이 반영된 표현으로 변환
• 디코더(decoder): 이전 결과와 인코더의 출력을 바탕으로 다음 단어를 생성
이 구조는 이후 다양한 형태로 발전했습니다.
• BERT: 인코더 중심 → 문장 이해에 강점
• GPT 계열: 디코더 중심 → 문장 생성에 강점
현재 LLM은 대부분 디코더 기반 구조를 사용합니다.