반복 훈련-테스트 분리와 교차 검증에 대한 마지막 코멘트입니다. k-CV를 사용하면 예측 값을 각 사례마다 하나씩 얻게 됩니다. 각 사례는 각 테스트 버킷에 하나씩 들어 있습니다. 여러 데이터 세트로 만든 모델 결과를 종합하여 전체 데이터셋에 대한 예측 값을 구합니다. 그림 5-8과 같이 반복적 훈련-테스트 분리를 이용하면 일부 사례가 완벽히 훈련과 추론에서 배제되거나 중복될 수 있습니다. 반복적 훈련-테스트 분리에서 모든 것은 우리의 선택 프로세스에 내재된 무작위성에 달려 있습니다.

▲ 그림 5-8 RTTS를 이용하면 세트 간 중복이 있을 수 있다