앞에서의 가설 검정은 항상 옳지는 않으며, 오류가 발생할 수 있다. 이러한 가설 검정의 오류를 1종 오류와 2종 오류로 나누어 고려할 수 있다.

1종 오류(type I error)는 귀무 가설이 참이지만 기각되는 경우에 발생하며, False positive라 부른다. 1종 오류의 수준은 α(alpha)로 표시하며, alpha level 또는 유의 수준(significance level)으로도 사용한다. 이 유의 수준은 일반적으로 5%로 사용하며, 귀무 가설이 참(true)임에도 귀무 가설을 잘못 기각하는 확률을 5%까지는 용인한다는 의미이다.

반면 2종 오류(type II error)는 귀무 가설이 거짓(false)임에도 기각을 못하는 경우에 발생한다. 이 경우는 False negative라 한다. 2종 오류의 수준은 β(beta)로 표시하며, 검정력(1-β)과 관련 있는 것으로 고려한다.