양방향 어텐션의 의미

양방향 어텐션(Prompt-to-Image & Image-to-Prompt)은 프롬프트에서 이미지로, 그리고 이미지에서 프롬프트로의 양방향 정보 흐름을 나타냅니다. 이는 이미지 임베딩과 프롬프트 임베딩 모두를 업데이트하는 데 필수적입니다. 이러한 양방향 구조는 마스크 디코더가 이미지와 프롬프트 간의 상호 작용을 통해 더 정확한 마스크를 생성할 수 있도록 합니다.

또한 SAM 모델은 프롬프트에 따라 인터랙티브하게 작동합니다. 이는 사용자의 입력에 따라 다양한 마스크를 생성할 수 있음을 의미합니다. 이미지 사이즈에 맞게 업샘플링을 수행한 후, 각 픽셀에 대해 마스크 포함 여부를 판단합니다. 이는 이미지의 상세한 부분까지 고려한 정밀한 마스크 생성을 가능하게 합니다. 중요한 점은 마스크 디코더가 레이블을 생성하지 않는다는 것입니다. 디코더의 주요 목표는 마스크를 생성하는 것이며, 이는 이미지 내 특정 영역을 분리하고 식별하는 데 초점을 맞춥니다.