6.3.1 성능 개선

 

스파크 스트리밍 애플리케이션을 개발하려면 가장 먼저 미니배치 주기를 결정해야 한다. 적절한 주기는 잡이 수행하는 연산 유형과 클러스터의 처리 용량에 따라 다르므로 이 값을 단번에 결정할 수 있는 만능 법칙은 없다. 그 대신 각 스파크 애플리케이션을 실행할 때 자동으로 시작하는 스파크 웹 UI의 Streaming 페이지를 활용할 수 있다. 스파크 웹 UI는 4040번 포트(기본 값)로 접속한다.

스파크 스트리밍 애플리케이션(즉, StreamingContext)을 실행하면 웹 UI의 위쪽 메뉴에 Streaming 탭이 자동으로 표시된다. Streaming 페이지는 다음 네 가지 지표를 시계열 그래프 형태로 제공한다(그림 6-4 참고).

• Input Rate(유입 속도): 초당 유입된 레코드 개수를 보여준다.

• Scheduling Delay(스케줄링 지연 시간): 새로운 미니배치의 잡을 스케줄링할 때까지 걸린 시간을 보여준다.

• Processing Time(처리 시간): 각 미니배치의 잡을 처리하는 데 걸린 시간을 보여준다.

• Total Delay(총 지연 시간): 각 미니배치를 처리하는 데 소요된 총 시간을 보여준다.