지금까지 몇 가지 대표적인 확률 분포를 살펴보았다. 수집된 자료에 적용하는 확률 분포는 우리가 관심을 갖는 현상을 이해할 수 있는 틀을 제공한다. 이를 바탕으로 이제는 수집된 자료를 통계량으로 요약하고 그 특성을 표, 그림 등으로 사용하여 쉽게 파악할 수 있도록 정리해보자.

자료를 요약하는 기초적 통계를 기술 통계(descriptive statistics)라 한다. 예를 들어 우리가 사용하는 평균이나 표준편차 등은 모두 통계량을 통해 자료를 요약한 것이다. 통계량은 모집단의 모수를 추론하기 위한 표본의 값을 요약해주며 모수를 추정하는 역할을 한다.

통계량이라는 것은 모수에 대한 그럴 듯한 후보 값을 제시한 것이라 볼 수 있는데, 사실 통계량은 모수를 잘 나타낼 수도, 아닐 수도 있다. 원래의 모수는 고정되고 불변이지만, 우리가 알기에는 매우 어려우니 대신 표본을 통해 통계량으로 모수를 잘 나타낼 수 있게 추정하는 것이다. 이를 통계적 추론(statistical inference) 또는 추론 통계학이라고 한다. 이 과정에서 우리는 추정(estimation)이라는 것을 하게 된다.