CBOW

CBOW(Continuous Bag Of Words)는 단어를 여러 개 나열한 후 이와 관련된 단어를 추정하는 방식입니다. 즉, 문장에서 등장하는 n개의 단어 열에서 다음에 등장할 단어를 예측합니다. 예를 들어 “calm cat slept on the sofa”라는 문장이 있을 때, “calm cat on the sofa”라는 문맥이 주어지면 “slept”를 예측하는 것이 CBOW입니다.

CBOW는 다음 그림과 같은 신경망 구조를 갖습니다. 여기에서 각 문맥 단어를 은닉층으로 투사하는 가중치 행렬은 모든 단어에서 공통으로 사용됩니다.

▲ 그림 10-3 CBOW 구조와 예시