각 데이터 소스마다 흥미로운 내용이 많지만, 사용법을 전부 다루는 것은 지면 관계상 거의 불가능하다. 따라서 우리는 이 중 (아마) 가장 널리 사용하는 아파치 카프카에 집중한다. 카프카가 다소 생소하다면 공식 소개 자료(https://goo.gl/4rV7OV)를 먼저 읽어 보기 바란다.

이 절에서는 매매 주문 데이터를 파일에서 직접 읽어 들이는 대신 또 다른 셸 스크립트를 사용해 파일의 주문 데이터를 카프카 토픽으로 전송한다. 스파크 스트리밍 애플리케이션은 이 토픽에서 주문 데이터를 읽어 들이고, 각 지표의 계산 결과를 다시 또 다른 카프카 토픽으로 전송한다. 그런 다음 카프카의 컨슈머 스크립트(kafka-console-consumer.sh)를 사용해 지표 결과를 수신하고 출력한다.