더북(TheBook)

그림 6-3은 윈도 연산의 원리를 도식화한 것이다. 윈도 연산은 미니배치의 슬라이딩 윈도(sliding window)를 기반으로 수행한다. 스파크 스트리밍은 슬라이딩 윈도의 길이와 이동 거리(즉, 윈도 데이터를 얼마나 자주 계산할지)를 바탕으로 윈도 DStream을 생성한다. 슬라이딩 윈도의 길이와 이동 거리는 반드시 미니배치 주기의 배수여야 한다.

▲ 그림 6-3 윈도 DStream으로 데이터를 처리하는 원리(슬라이딩 윈도의 이동 거리와 길이는 각각 미니배치 주기의 두 배와 네 배로 설정했다. 결과는 윈도당 하나씩 계산된다.)

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.