Note ≣ | 2단계 컴페티션

이 대회의 이상한 점을 혹시 발견했나요? 바로 공개 점수(Public Score)가 모두 0점으로 표시된다는 것입니다. 이렇게 된 배경을 이해하기 위해서는 대회가 처음 개최됐던 당시로 돌아가야 합니다.

Jigsaw 대회는 2단계 컴페티션(2-Stage Competition)으로 개최됐습니다. 본래 컴페티션은 정답이 없는 테스트 셋을 공개한 뒤 이 중 랜덤하게 일부를 공개(Public), 나머지를 비공개(Private)로 구성하는 것이 일반적입니다. 그에 비해 2단계 컴페티션은 대회에 사용할 테스트 셋을 2개 만들어두고 하나는 참가자에게 공개하고, 다른 하나는 데이터의 피처조차도 절대 볼 수 없도록 공개하지 않습니다.

여기까지는 Code Competition의 룰과 동일합니다. 그런데 대회가 개최됐을 당시에는 Code Competition의 룰이 지금처럼 깔끔하게 정착되기 전이었기 때문에 약간의 시행착오가 있었습니다. 당시 컴페티션이 끝난 후에 캐글 운영팀에서는 제출된 노트북을 모두 일괄적으로 비공개 데이터셋으로 교체하고 재계산하는 과정을 거쳐야 했습니다. 그렇다 보니 캐글러들은 자신의 순위와 상금이 적용되는 점수를 컴페티션이 끝난 즉시가 아닌, 1주일이나 기다리고서야 정확한 점수를 알 수 있었습니다. 제출과 동시에 컴퓨터 내부에서 비공개 테스트 셋까지 계산되는 현재의 Code Competition과는 매우 대조적입니다.