프롬프트 인코더의 유형과 각각의 생성 방법을 살펴보았습니다. 이는 모델이 다양한 사용자 요구에 유연하게 대응하고, 좀 더 정교한 이미지 분석을 수행할 수 있는 기반을 제공합니다.

마스크 디코더

마스크 디코더는 이미지 임베딩과 프롬프트 임베딩을 입력으로 받아, 최종적으로 마스크를 예측하는 중요한 부분입니다. 이 과정에서 트랜스포머 디코더 블록을 활용하며, 특히 프롬프트 셀프 어텐션과 크로스 어텐션을 양방향으로 사용합니다.

▲ 그림 5-48 마스크 디코더