여기서 보듯이 위치 임베딩 벡터는 4개의 256차원 벡터로 구성됩니다. 이제 이 벡터를 토큰 임베딩에 바로 더할 수 있습니다. 파이토치는 4 × 256차원의 pos_embeddings 텐서를 배치에 있는 4 × 256차원의 토큰 임베딩 텐서 8개에 각각 더합니다.

input_embeddings = token_embeddings + pos_embeddings
print(input_embeddings.shape)

출력은 다음과 같습니다.

torch.Size([8, 4, 256])