설명 가능한 CNN(explainable CNN)은 딥러닝 처리 결과를 사람이 이해할 수 있는 방식으로 제시하는 기술입니다. CNN은 블랙박스와 같아 내부에서 어떻게 동작하는지 설명하기 어렵습니다. 따라서 CNN으로 얻은 결과는 신뢰하기 어려운데, 이를 해결하려면 CNN 처리 과정을 시각화해야 할 필요성이 있습니다.

▲ 그림 5-45 CNN의 블랙박스

CNN을 구성하는 각 중간 계층부터 최종 분류까지 입력된 이미지에서 특성이 어떻게 추출되고 학습하는지를 시각적으로 설명할 수 있어야 결과에 대한 신뢰성을 얻을 수 있습니다. CNN의 시각화 방법에는 필터에 대한 시각화와 특성 맵에 대한 시각화가 있지만, 책에서는 특성 맵에 대한 시각화만 다루겠습니다.