05
인프라스트럭처를 자동화하라
크리스티아노 앤더슨(Christiano Anderson)
데이터 엔지니어라면 아마존 웹 서비스(AWS)나 구글 클라우드 플랫폼(GCP), 마이크로소프트 애저 등 클라우드 서비스 제공자를 사용해서 데이터 파이프라인을 적용할 줄 알아야 합니다. 웹 콘솔을 사용하면 구성 요소를 간단히 연결해서 완전한 데이터 파이프라인을 제공할 수 있습니다.
AWS를 예로 들자면, API 게이트웨이를 REST 인터페이스로 사용해서 데이터 수집을 수행하고, 람다Lambda 함수 몇 개로 수집을 검증하고, 키네시스 데이터 스트림Kinesis Data Streams으로 실시간 분석을 제공하고, 키네시스 데이터 파이어호스Kinesis Data Firehose로 데이터를 전달하고, S3를 영속성 계층으로 사용할 수 있습니다. 그리고 아테나Athena를 시각화 계층으로 사용할 수도 있습니다.