더북(TheBook)

이러한 패턴을 조합하면 디자인 원칙의 이점을 실현할 수 있습니다. 책임 분리를 통해 DAG, 크로스커팅 관심사(모니터링 및 로깅을 위한 별도 패키지), 크로스 DAG(공통 템플릿의 추상화가 가능해짐) 등 다양한 수준에서 코드 베이스를 모듈로 만들 수 있기 때문입니다. 이를 통해 데이터 파이프라인을 일반화하여 커스텀 코드를 작성하는 것에서 보다 보편적인 모듈과 템플릿과 구성으로 옮겨갑니다. 또한, 서로 다른 부분은 DAG 코드 베이스와 완전히 분리되어 자체적인 개발 주기와 배포 패키지를 따릅니다.

설계 원칙을 더하면 추상화 수준과 복잡성이 높아집니다. 하지만 품질과 속도를 유지하면서 파이프라인 개발을 확장하기 위해서 지불하는 대가라고 생각한다면 크지 않습니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.