5.4.2 데이터 저장

 

DataFrame의 데이터는 write 필드로 제공되는 DataFrameWriter 객체를 사용해 저장한다. 5.3.1절 예제에도 등장했던 DataFrameWriter 사용 방법은 다음과 같다(postsDf는 5.1.1절과 5.1.2절에서 생성했다).

postsDf.write.saveAsTable("posts")

 

여기서 사용한 saveAsTable 메서드 외에도 save나 insertInto 메서드로 데이터를 저장할 수 있다. saveAsTable과 insertInto 메서드는 데이터를 하이브 테이블로 저장하며 이 과정에서 메타스토어를 활용하는 반면, save 메서드는 데이터를 파일에 저장한다. 하이브 미지원 SparkSession을 사용하면 saveAsTable과 insertInto 메서드는 하이브 테이블 대신 임시 테이블에 데이터를 저장한다. 바로 다음 단락에서 설명할 DataFrameWriter 설정 함수들을 사용해 이 메서드들의 세부 사항을 설정할 수 있다.