스파크를 다루는 기술: 5.1.3.3 사용자 정의 함수

이제 countTags UDF를 정의했으니 이 함수로 Column 정의를 생성해 select 문에 전달할 수 있다(출력 결과는 지면 관계상 중략했다).

scala> postsDf.filter('postTypeId ===1).
  select('tags, countTags('tags) as "tagCnt").show(10, false)
+------------------------------------------------------------------+------+
|tags                                                              |tagCnt|
+------------------------------------------------------------------+------+
|&lt;word-choice&gt;                                               |1     |
|&lt;english-comparison&gt;&lt;translation&gt;&lt;phrase-request&gt|3     |
|&lt;usage&gt;&lt;verbs&gt;                                        |2     |
|&lt;usage&gt;&lt;tenses&gt;&lt;english-comparison&gt;             |3     |
|&lt;usage&gt;&lt;punctuation&gt;                                  |2     |
|&lt;usage&gt;&lt;tenses&gt;                                       |2     |
|&lt;history&gt;&lt;english-comparison&gt;                         |2     |
|&lt;idioms&gt;&lt;etymology&gt;                                   |2     |
|&lt;idioms&gt;&lt;regional&gt;                                    |2     |
|&lt;grammar&gt;                                                   |1     |
+------------------------------------------------------------------+------+

두 번째 인수인 false 플래그는 show 메서드가 출력된 문자열을 중략하지 않도록 설정한다(지정하지 않으면 앞쪽 20개 문자까지만 출력하고, 나머지는 중략한다).

신간 소식 구독하기

뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.