임베딩 층을 사용해 이 토큰 ID를 256차원 벡터로 임베딩해 보겠습니다.
token_embeddings = token_embedding_layer(inputs)
print(token_embeddings.shape)
출력은 다음과 같습니다.
torch.Size([8, 4, 256])
8 × 4 × 256차원의 텐서는 각 토큰 ID가 256차원 벡터로 임베딩되었다는 것을 보여 줍니다.
임베딩 층을 사용해 이 토큰 ID를 256차원 벡터로 임베딩해 보겠습니다.
token_embeddings = token_embedding_layer(inputs)
print(token_embeddings.shape)
출력은 다음과 같습니다.
torch.Size([8, 4, 256])
8 × 4 × 256차원의 텐서는 각 토큰 ID가 256차원 벡터로 임베딩되었다는 것을 보여 줍니다.