가우시안 필터링
캐니 엣지 검출기의 첫 번째 과정은 가우시안 필터를 이용하여 영상을 부드럽게 만드는 작업이다. 영상을 부드럽게 만드는 이유는 영상에 존재하는 잡음의 영향을 제거하기 위함이다. 잡음의 영향을 줄이기 위해 평균 값 필터나 미디언 필터 같은 기법도 사용하지만, 영상에 있는 백색 잡음white noise의 영향을 제거하기 위해서는 가우시안 필터를 사용하는 것이 가장 효과적이다. 2차원 가우시안 필터의 수식은 다음과 같다.
가우시안 필터링에 대해서는 이미 8.2절 영상 부드럽게 만들기에서 소개한 바 있다. 가우시안 필터링을 수행하면 영상이 전반적으로 부드러워지면서 잡음의 영향을 감소시키는 효과가 있다. 다만 엣지의 세기도 함께 감소할 수 있기 때문에 적절한 표준 편차 값을 선택하여 가우시안 필터링을 수행하여야 한다.
가우시안 필터는 내부적으로 실수형 연산을 사용한다. 표준 편차도 일반적으로 실수이고, 지수함수에 의한 결괏값도 실수형으로 나타난다. 8장에서 가우시안 필터를 이용하여 영상을 부드럽게 만들 때에는 가우시안 필터에 의해 계산된 결과 영상의 실숫값을 그레이스케일 범위에 맞는 정수형으로 변환하여 화면에 나타내었다. 그러나 캐니 엣지 검출 과정에서는 가우시안 필터에 의한 결괏값을 정수형으로 변환하면 안 된다. 실수형 데이터를 정수형으로 변환할 경우 소수점 이하의 값들이 사라지는 양자화 에러(quantization error)가 발생하는데, 이런 작은 오차로 인해 그래디언트 계산 등의 이후 과정에서 정확성이 떨어질 수 있기 때문이다. 그러므로 캐니 엣지 검출기와 같이 일련의 복잡한 연산을 수행하는 영상 처리의 경우, 내부적으로는 실수형 데이터 연산을 수행하고 최종적으로 화면 출력을 하는 경우에만 정수형으로 변환하여 보여주는 것이 바람직하다.