1.4 트랜스포머 구조 소개

1. 트랜스포머 구조는 자연어 처리에 혁명을 일으킨 심층 신경망 구조입니다. 대부분의 현대적인 LLM의 근간을 이루며, 언어를 효과적으로 처리하고 이해할 수 있도록 만듭니다.

2. 임베딩 단계의 출력은 디코더(2번)로 전달됩니다.

3. 트랜스포머 구조는 인코더와 디코더로 구성됩니다. 인코더는 입력 텍스트를 처리하고 수치 표현으로 변환합니다. 디코더는 이 수치 표현을 사용하여 출력 텍스트를 생성합니다.

4. 셀프 어텐션 메커니즘을 통해 트랜스포머가 시퀀스에 있는 단어 간의 상대적인 중요도에 가중치를 부여할 수 있습니다. 모델이 긴 범위의 의존성과 문맥 관계를 포착하는 데 도움이 되며 일관성 있고 관련된 출력을 만들 수 있습니다.