더북(TheBook)

4.5.2.1 공유 변수를 임시 제거 또는 완전 삭제

더 이상 필요하지 않은 공유 변수는 destroy를 호출해 완전히 삭제할 수 있다. destroy 메서드는 모든 공유 변수 정보를 실행자와 드라이버에서 제거하고 변수를 더 이상 사용할 수 없게 한다. destroy를 호출한 후 공유 변수에 접근하면 예외가 발생한다.

또는 unpersist 메서드를 호출해 공유 변수 값을 실행자의 캐시에서 제거할 수 있다. unpersist를 호출한 후에 공유 변수를 사용하면 공유 변수의 데이터를 실행자로 다시 전송한다.

마지막으로 스파크는 공유 변수가 스코프를 벗어나면(즉, 공유 변수의 모든 참조가 사라지면) 자동으로 unpersist를 호출하므로 사용자가 이 메서드를 명시적으로 호출할 필요는 없다. 그 대신 드라이버 프로그램에서 공유 변수의 참조를 직접 제거할 수 있다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.