더북(TheBook)

4.4 RDD 의존 관계

 

먼저 스파크 내부 메커니즘의 가장 중요한 주제라고 할 수 있는 RDD 의존 관계(dependency)와 RDD 체크포인트(checkpoint)를 살펴보자. 스파크 코어 API의 큰 그림을 완성하려면 이 두 가지 개념을 반드시 짚고 넘어가야 한다. RDD 의존 관계는 RDD에 복원성을 부여하며, 스파크 잡 및 태스크 생성에도 영향을 미친다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.