더북(TheBook)

미니배치당 총 처리 시간(즉, 총 지연 시간)은 미니배치 주기보다 짧아야 하며, 일정한 값으로 유지해야 한다. 반면 총 처리 시간이 계속 증가하면 스트리밍 연산을 장기간 지속할 수 없다. 이 문제를 해결하려면 처리 시간을 단축하거나 병렬화를 확대하거나 유입 속도를 제한해야 한다.

▲ 그림 6-4스파크 웹 UI의 Streaming 페이지(유입 속도, 스케줄링 지연 시간, 처리 시간, 총 지연 시간 등 다양한 지표를 제공한다.)

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.