만족스러운 하이퍼파라미터 값을 찾은 후에는 전체 훈련 데이터셋을 사용하여 모델을 다시 훈련합니다. 그다음 독립적인 테스트 데이터셋을 사용하여 최종 성능 추정을 합니다. k-겹 교차 검증 후에 전체 훈련 데이터셋으로 모델을 학습하는 이유는 첫째 (k개의 개별 모델이 아니라) 하나의 최종 모델이 필요하고, 둘째 훈련 샘플이 많을수록 학습 알고리즘이 더 정확하고 안정적인 모델을 만들기 때문입니다.
k-겹 교차 검증이 중복을 허용하지 않는 리샘플링 기법이기 때문에 각 반복에서 샘플이 정확히 한 번만 사용되며 훈련 폴드와 테스트 폴드가 중첩되지 않습니다. 또한, 모든 테스트 폴드가 중첩되지 않습니다. 즉, 테스트 폴드 간에 중복되는 샘플이 없습니다.2 이로 인해 홀드아웃 방법보다 모델 성능의 추정에 분산이 낮습니다. 그림 6-4는 k = 10일 때 k-겹 교차 검증의 개념을 요약한 것입니다. 훈련 데이터는 열 개의 폴드로 나누어지고 열 번의 반복 동안 아홉 개의 폴드는 훈련에, 한 개의 폴드는 모델 평가를 위해 사용됩니다.
또한, 각 폴드의 추정 성능 Ei(예를 들어 분류 정확도 또는 오차)를 사용하여 모델의 평균 성능 E를 계산합니다.