더북(TheBook)

다음은 셔플링과 관련해 추가적으로 참고할 만한 매개변수다.

spark.shuffle.compress: 중간 파일의 압축 여부를 지정할 수 있다(기본 값: true).

spark.shuffle.spill.batchSize: 데이터를 디스크로 내보낼 때 일괄로 직렬화 또는 역직렬화할 객체 개수를 지정한다(기본 값: 1만 개).

spark.shuffle.service.port: 외부 셔플링 서비스를 활성화할 경우 서비스 서버가 사용할 포트 번호를 지정한다(기본 값: 7337).

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.