우선 검정 통계량(test statistics)은 검정의 대상이 되는 통계량(어떤 요약 값)을 의미한다. 이 통계량은 평균, 분산 등이 될 수도 있다. 통계량의 종류에 따라 다양한 통계량에 대한 검정이 이뤄진다.

자료와 검정 통계량을 바탕으로 모수에 대한 기존의 주장인 귀무 가설을 기각할 수 있다면 우리가 실험이나 분석을 통해서 얻은 새로운 지식을 받아들일 수 있다. 그러므로 이 과정에서 어떤 기준으로 귀무 가설을 기각하는지가 무척 중요하며, 기각할 수 있는 기준인 유의 수준(significant level)이 바로 이러한 역할을 한다.

이때 유의 수준과 비교하여 귀무 가설의 기각을 결정하는 p값(p-value)은 일종의 확률이다. 우선 p값을 귀무 가설이 참인 경우의 확률로 생각해보자. 즉, p값이 높을수록 귀무 가설이 참일 확률이 높은 것이니 기각하지 못한다. 또한, 이전 단계에서 산출한 유의 수준과 p값을 비교하여 귀무 가설의 기각 여부를 결정한다. 유의 수준이 기준이 되고, p값이 유의 수준보다 작아야 귀무 가설을 기각한다. 예를 들어 유의 수준이 5%일 때 p값이 5%보다 크다면 귀무 가설을 기각하지 못하고, 반대로 p값이 5%보다 작으면 귀무 가설을 기각하고 대립 가설을 채택한다.