2.3.2 BERT와 T5

BERT와 T5는 각각 구글에서 개발한 LLM입니다.

BERT는 트랜스포머 인코더 부분만을 사용한 모델로, 문장을 양방향으로 읽어 문맥을 이해하는 자연어 처리 모델입니다. 기존의 모델은 문장을 왼쪽에서 오른쪽으로만 읽었지만, BERT는 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로 모두 읽기 때문에 문장의 의미를 더 잘 이해할 수 있습니다. 문맥을 잘 이해하므로 질의응답, 문장 분류, 감성 분석 등에서 성능이 뛰어납니다.

▲ 그림 2-21 BERT 구조