더북(TheBook)

¦ 데이터 흐름 로직을 도구와 인프라에 통합하라 ¦

설정을 통해 수행되는 프레임워크나 도구에 공통 패턴을 통합하세요. 데이터 수집, 접근, 스토리지 코드에 데이터 엔지니어링 로직을 푸시하여 활용도를 크게 높일 수 있습니다. 데이터 흐름 로직 구성을 데이터 파이프라인 내부에 표현하는 대신 입출력 데이터 소스의 메타데이터로 만들어 메타데이터 저장소에 내장하는 것을 고려하세요.

 

 


1 역주 업스트림과 다운스트림은 각각 데이터 파이프라인에서 데이터가 유입되는 지점과 파이프라인 결과가 도달하는 지점을 말합니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.