이진 분류를 위한 확률 모델로서 로지스틱 회귀 모델 이면에 있는 아이디어를 설명하기 위해 먼저 오즈비(odds ratio)를 소개합니다. 오즈는 특정 이벤트가 발생할 확률입니다. 오즈비는 처럼 쓸 수 있습니다. 여기에서 P는 양성 샘플일 확률입니다. 양성 샘플은 좋은 것을 의미하지 않고 예측하려는 대상을 말합니다. 예를 들어 특정 증상을 보이는 환자가 어떤 질병에 걸렸을 확률입니다. 양성 샘플이 클래스 레이블 y = 1인 샘플이고 증상을 특성 x로 생각할 수 있습니다. 따라서 확률 p를 특성이 x인 샘플이 클래스 1에 속할 조건부 확률 p := p(y = 1 | x)로 정의할 수 있습니다.

오즈비에 로그 함수(로그 오즈)를 취해 로짓(logit) 함수를 정의합니다.

여기에서 log는 컴퓨터 과학에서 널리 사용되는 자연 로그입니다. logit 함수는 0과 1 사이의 입력 값을 받아 실수 범위 값으로 변환합니다.

로지스틱 모델에서는 가중치가 적용된 입력(2장의 최종 입력)과 로그 오즈 사이에 선형 관계가 있다고 가정합니다.