6.1.7 시간에 따라 변화하는 계산 상태 저장

 

지금까지 스파크 스트리밍을 사용해 기본적인 스트리밍 계산을 수행하는 방법을 알아봤다. 하지만 아직 갈 길이 멀다. 우리는 누적 거래액이 가장 많은 고객 1~5위와 지난 1시간 동안 거래량이 가장 많았던 유가 증권 1~5위를 계산해야 한다.

앞서 초당 거래 주문 건수를 집계할 때는 마지막 미니배치의 데이터만 사용했지만, 이제는 이전 미니배치의 데이터도 함께 고려해야 한다. 예를 들어 거래액 1~5위의 고객 목록을 계산하려면 각 고객이 현재까지 주문한 매매 가격을 계속 누적해야 한다. 다시 말해 시간과 미니배치에 따라 변화하는 상태(state)를 지속적으로 추적하고 유지해야 한다.