색상 히스토그램의 계산에는 각 픽셀의 색상 값을 통계적으로 분석하는 과정이 포함됩니다. 이때 주어진 이미지 I에 대하여, 특정 색상 c가 이미지 내에서 나타나는 빈도, 즉 얼마나 자주 출현하는지를 계산합니다. 이를 위한 수식은 다음과 같이 정의됩니다.

여기서 H(c)는 색상 c의 히스토그램 빈도를, I(x,y)는 좌표 (x, y)에 위치한 픽셀의 색상 값을, W와 H는 각각 이미지의 너비와 높이를 나타냅니다. 대괄호는 아이버슨 괄호(iverson bracket) 표기법으로, 조건이 참이면 1을, 거짓이면 0을 반환합니다. 이 수식은 이미지의 각 픽셀을 순회하면서 해당 픽셀의 색상이 특정 색상 c와 일치하는지를 검사합니다. 일치하면 카운트를 1 증가시키고, 그렇지 않으면 카운트를 증가시키지 않습니다. 이 과정을 이미지의 모든 픽셀에 대해 수행하여, 색상 c가 이미지 내에 몇 번 나타나는지를 총합하여 히스토그램 H(c)에 저장합니다.