디코더

트랜스포머 구조에서 인코더로부터 인코딩된 벡터를 받아 출력 텍스트를 생성하는 부분

셀프 어텐션 메커니즘

이를 통해 모델이 시퀀스에 있는 서로 다른 단어 또는 토큰의 상대적인 중요도에 가중치를 부여할 수 있습니다. 입력 데이터 안에 있는 긴 범위의 의존성과 문맥 관계를 포착할 수 있습니다.

제로-샷 학습

사전에 어떤 구체적인 샘플도 없이 완전히 처음 본 작업에 일반화하는 모델의 능력