보통 확률은 관심이 있는 사건이 일어난 횟수를 전체 시도 횟수로 나누는 경험확률이다. 가령 동전의 앞면이 나올 확률을 구한다면, 동전 앞면이 나온 횟수를 동전을 던진 모든 횟수로 나누는 것이 경험확률의 한 가지 예다. 즉, 사건의 발생 빈도에 의존하는 빈도주의 확률론이다. 빈도주의 확률에서 사건은 일정한 확률로 반복시행이 가능한 경우에 맞는다. 베이즈 확률은 일어나지 않는 일에 대한 확률을 불확실성(uncertainty)으로 보고 사건과 관련한 확률로 새롭게 일어나는 사건을 추정하는 것이다.

베이즈 이론은 비교적 최근에야 주목받기 시작했다. 수학과 컴퓨터의 발전, 실험으로 밝혀진 결과들 등으로 인해 비로소 인정받게 된 것이다.

베이즈 이론은 파격적일 만큼 단순하다는 것이 매력이다. ‘현실에서 얻은 데이터를 토대로 미래를 예측한다’가 전부다. 베이즈 이론의 공식은 다음과 같다.

• P(H|E): 증거 E가 관찰된 상황에서 가설 H가 참일 확률
• P(H): 가설 H가 참일 확률
• P(E|H): 가설 H가 참일 때 증거 E가 관측될 확률
• P(E): 증거 E가 관측될 확률

증거가 많을수록 예측은 더 정확해진다. 베이즈 이론의 또 다른 장점은 자가 수정적이라는 것이다. 증거가 바뀌면 결과도 저절로 수정된다.