5.1.3 SQL 함수로 데이터에 연산 수행

 

오늘날 모든 관계형 데이터베이스는 데이터에 연산을 수행할 수 있는 다양한 SQL 함수를 제공하며, 스파크 SQL도 이 중 상당수를 지원한다. 스파크의 SQL 함수는 DataFrame API나 SQL 표현식으로 사용할 수 있다. 이 절에서는 DataFrame API를 이용한 SQL 함수 사용법을 알아보자.

스파크의 SQL 함수는 다음 네 가지 카테고리로 나눌 수 있다.

• 스칼라 함수: 각 로우의 단일 칼럼 또는 여러 칼럼 값을 계산해 단일 값을 반환하는 함수

• 집계 함수: 로우의 그룹에서 단일 값을 계산하는 함수

• 윈도 함수: 로우의 그룹에서 여러 결과 값을 계산하는 함수

• 사용자 정의 함수: 커스텀 스칼라 함수 또는 커스텀 집계 함수