단일 훈련-테스트 분리를 사용하면 전체 데이터를 훈련과 테스트 용도로 가르는 작업을 1회 수행합니다. 간단한 방법이죠. 그러나 여기에 운 또는 불운이 작용할 수 있습니다. 순전히 운이 좋아서 엄청나게 어려운 훈련 데이터와 매우 쉬운 테스트 데이터를 얻었다고 생각해 봅시다. 테스트 결과를 받아 든 우리는 실제로는 매우 험난한 미래 성능을 과도하게 낙관적으로 평가하게 됩니다. 낙관성이 문제라면 그 반대인 최악의 시나리오는 어떨까요? 쉬운 훈련 데이터와 어려운 테스트 데이터는 실제 성능을 비관적으로 바라보게 할 것입니다. 이 문제를 어떻게 해결하면 좋을까요? 항아리 안에 든 콩의 개수를 주변에 있는 사람들에게 물어보면, 모두 조금씩 틀린 답을 내놓을 것입니다. 그런데 더 많은 사람에게 같은 질문을 한다면, 전반적으로는 더 좋은 답을 얻을 수 있지요. 집단 지성의 힘입니다. 평가에 사용할 다수의 추정치는 어떻게 얻을 수 있을까요? 이를 위해서는 다수의 데이터셋이 필요합니다. 그런데 우리에게는 데이터셋이 하나밖에 없지요. 하나의 데이터셋을 어떻게 여러 개로 만들 수 있을까요?