더북(TheBook)

6.3 스파크 스트리밍의 잡 성능

 

다음은 일반적으로 스트리밍 애플리케이션이 갖추어야 할 비기능적 요구 사항이다.

각 입력 레코드를 최대한 빨리 처리한다(낮은 지연 시간).

실시간 데이터의 유량 증가에 뒤처지지 않는다(확장성).

일부 노드에 장애가 발생해도 유실 없이 계속 데이터를 입수한다(장애 내성).

이 절에서는 스파크 스트리밍 잡의 성능을 튜닝하고 장애를 허용할 수 있도록 보장하는 몇 가지 설정을 알아본다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.