더북(TheBook)

4.2.1 스파크의 데이터 Partitioner

 

RDD의 데이터 파티셔닝은 RDD의 각 요소에 파티션 번호를 할당하는 Partitioner 객체가 수행한다. 스파크는 Partitioner의 구현체(implementation)HashPartitionerRangePartitioner를 제공한다. 또 사용자 정의 Partitioner를 Pair RDD에 사용할 수 있다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.