6.4.4 정형 스트리밍의 미래

 

스파크 2.0의 정형 스트리밍은 아직 실험 단계에 있지만, 강력한 기능을 제공한다. 정형 스트리밍으로 일괄 데이터와 스트리밍 데이터를 결합하고, 일괄 처리 연산과 스트리밍 연산을 통합할 수 있다. 이는 다른 스트리밍 엔진에서 쉽사리 지원할 수 없는 기능이다. 또 정형 스트리밍은 텅스텐 엔진을 활용해 스파크 스트리밍의 계산 성능을 개선할 수 있다.

현재 스파크 커뮤니티는 정형 스트리밍을 다른 모든 스파크 컴포넌트로 확장하려는 큰 그림을 계획 중이다. 스트리밍 데이터로 머신 러닝 알고리즘을 학습하거나, 스트리밍을 활용해 ETL 변환을 수행하고 데이터 처리에 필요한 리소스 요구 사항을 낮출 수도 있다. 이외에도 더 많은 개선 사항이 있을 테니 계속 지켜보자.

지금까지 정형 스트리밍을 간략하게 알아보았다. 자세한 정형 스트리밍 내용은 스파크 공식 페이지의 정형 스트리밍 프로그래밍 가이드(http://mng.bz/bxF9)와 설계 문서(http://mng.bz/0ipm)를 참고하자.