셀프 어텐션 메커니즘에서의 처리 순서는 다음과 같습니다.

1. 입력 단어들을 활용해 임베딩 벡터를 생성합니다.

2. 임베딩 벡터를 기반으로 쿼리(query), 키(key), 밸류(value) 벡터를 생성합니다.

3. 쿼리 벡터와 키 벡터 간 내적을 통해 각 단어 간 연관성을 나타내는 어텐션 스코어(attention score)를 계산합니다.

4. 계산된 어텐션 스코어에 루트를 씌워 표준편차를 1로 맞춥니다.

5. 정규화된 스코어에 소프트맥스 함수를 적용해 확률 분포를 만듭니다.

6. 소프트맥스를 통과한 값들을 밸류 벡터와 곱하여 관련 있는 단어는 강조하고 관련 없는 단어는 약화시킵니다.

7. 가중합 결과 값들을 더해 최종 벡터를 생성하며, 이 벡터가 셀프 어텐션 메커니즘을 거친 출력값이 됩니다.