더북(TheBook)

스파크가 원격 하이브 메타스토어를 사용하도록 설정하려면 다음 property들을 hive-site.xml 파일에 추가해야 한다.

javax.jdo.option.ConnectionURL: JDBC 접속 URL

javax.jdo.option.ConnectionDriverName: JDBC 드라이버의 클래스 이름

javax.jdo.option.ConnectionUserName: 데이터베이스 사용자 이름

javax.jdo.option.ConnectionPassword: 데이터베이스 사용자 암호

접속 URL에는 하이브 테이블을 저장한 기존 데이터베이스 주소를 입력해야 한다. 하이브 메타스토어 데이터베이스를 초기화하고 필요한 테이블을 생성하려면 하이브의 schematool을 사용해야 한다. 자세한 schematool 사용 방법은 하이브 공식 문서(http://mng.bz/3HJ5)를 참고하자.

property에 지정한 JDBC 드라이버를 스파크 드라이버와 모든 실행자의 클래스패스에 추가해야 한다. 가장 간단한 방법은 사용할 JDBC 드라이버의 JAR 파일을 spark-submit이나 spark-shell 명령의 --jars 옵션으로 전달하는 것이다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.