각 단계에 사용하는 데이터셋은 다음과 같습니다.

1. 홀드아웃 테스트 세트

2. 검증 테스트 세트

3. 훈련 세트

공장 기계 시나리오로 각 단계와 데이터셋을 설명해 보겠습니다. 이번에는 순서가 반대입니다.

1. 훈련 세트는 공장 기계의 손잡이를 조정하는 데 사용합니다.

2. 검증 테스트 세트는 조정이 끝난 여러 기계의 성능을 비교하여 가장 좋은 기계를 선택하는 데 도움을 줍니다.

3. 홀드아웃 테스트 세트는 공장 기계를 하나 혹은 여러 개 만들고, 최적화하고 평가하고 선택하는 전체 과정이 모두 공정하게 평가되었음을 확인하는 데 사용합니다.

마지막으로 중요한 것은 책임감입니다. 정답은 언제든지 들여다볼 수 있습니다. 실수를 하기도 쉽지요. 훈련과 검증을 계속 반복하다 보면 검증 테스트 세트에 잘 들어맞거나 들어맞지 않는 것이 무엇인지 알게 됩니다. 간접적인 방법이기는 하지만 검증 테스트 세트를 들여다보게 되는 것이죠. 이를 막아 주는 것이 홀드아웃 테스트 세트입니다. 훈련과 검증에 전혀 사용하지 않은 홀드아웃 테스트 세트로 우리가 만든 최종적인 학습 시스템이 완전히 새로운 데이터를 잘 처리할지 공정하게 검증할 수 있습니다.