6.1.6.1 스파크 스트리밍으로 데이터 전송

이제 스파크 스트리밍 애플리케이션을 실행했지만 아직은 처리할 데이터가 없다. 앞서 소개한 splitAndSend.sh 스크립트를 사용해 데이터를 밀어 넣자. 먼저 이 스크립트 파일을 실행 파일로 변경해야 한다. 책의 깃허브 저장소를 복제한 디렉터리에서 다음 명령을 실행하자.

$ chmod +x first-edition/ch06/splitAndSend.sh

 

그런 다음 앞서 스파크 스트리밍의 코드에 사용한 입력 폴더를 지정해 스크립트를 시작하자(예제 코드에서는 /home/spark/ch06input 폴더를 사용했다). 스크립트가 정상적으로 동작하려면 /home/spark/first-edition/ch06 폴더 아래에 orders.txt 파일을 준비해야 하며, 로컬 파일 시스템의 폴더를 사용할 때는 반드시 local 인수를 추가해야 한다.

$ mkdir /home/spark/ch06input
$ cd first-edition/ch06
$ ./splitAndSend.sh /home/spark/ch06input local

 

스크립트는 orders.txt 파일을 분할하고 지정된 폴더로 하나씩 복사한다. 스트리밍 애플리케이션은 이 파일들을 자동으로 읽어 들여 주문 건수를 집계한다.