CBOW의 신경망을 좀 더 자세히 살펴보겠습니다. CBOW 신경망에서 크기가 N인 은닉층을 가지고 있을 때, 은닉층 크기 N은 입력 텍스트를 임베딩한 벡터 크기입니다. 다시 말해 다음 그림에서 은닉층 크기는 N=5이기 때문에 해당 CBOW를 수행한 후 벡터 크기는 5가 됩니다. 다음으로 입력층과 은닉층 사이의 가중치 W는 V×N 행렬이며, 은닉층에서 출력층 사이의 가중치 W′는 N×V 행렬입니다. 여기에서 V는 단어 집합의 크기를 의미합니다. 즉, 다음 그림과 같이 원-핫 벡터의 차원이 7이고, N이 5라면 가중치 W는 7×5 행렬이고, W′는 5×7 행렬이 됩니다.

▲ 그림 10-4 CBOW 신경망