이렇게 설계한 이유는 테스트 데이터에 과적합(Overfitting)된 결과가 만들어지는 것을 방지하기 위함입니다. 좋은 솔루션은 어떤 테스트 데이터라도 올바르게 예측할 수 있어야 하며, 이를 일반화가 잘 되었다고 표현합니다. 대회가 진행되는 동안 참가자가 점수를 확인하기 위해 결과를 여러 번 제출할 수 있는데 만약 테스트 데이터의 전체 점수가 공개되면 이 점수에 너무 적합시킨 나머지 일반화에 실패하는 경우가 생길 수 있습니다. 이러한 결과는 좋은 솔루션이라고 보기 어렵습니다. 간혹 공개 점수와 비공개 점수가 차이가 심해 종료 후 순위가 급격히 바뀌는 현상(Shake up)이 발생하기도 합니다. 참가자들 사이에서는 종료 직전까지 이러한 현상이 발생하지 않기를 기도하는 모습을 종종 볼 수 있습니다.