(3) Simulation Competition

Simulation Competition은 일종의 시뮬레이션 게임과 같은 환경을 제공하며, 참가자는 해당 환경에서 점수를 가장 높일 수 있는 방법을 제시해야 합니다. 그런 의미에서 해당 컴페티션은 강화학습과 관련이 깊습니다. 일반적인 컴페티션과 다르게 규칙과 제출 방식이 복잡하므로 사전에 이를 유심히 살펴봐야 합니다. 보통 주최 측에서 혼란을 방지하기 위해 캐글 노트북으로 시뮬레이션해볼 수 있는 예시 코드를 제공합니다. 참가자는 컴페티션 룰에 따라 최적의 시뮬레이션할 수 있는 함수를 짜고 그 코드를 저장한 파이썬 파일을 업로드하여 서브미션을 생성합니다. 제출된 파이썬 파일은 내부 컴퓨터에서 한 번 더 시뮬레이션을 진행하고, 그에 해당하는 결과 점수가 리더보드에 기록됩니다.

한 가지 아쉬운 점은, 보통의 컴페티션은 종료 후 연습 목적으로 제출(Late Submission)해볼 수 있도록 허용해주는데 Simulation Competition은 튜토리얼 성격의 일부 컴페티션을 제외하고는 연습 제출을 할 수 없습니다(왜 그런지는 정확한 이유를 밝히지 않아 알 수 없습니다. 아마 캐글에서도 몇 번 시도되지 않은 방식이라 아직까지는 실험적으로 프로세스를 시도해보는 단계인 듯합니다).