06
파이프라인 테스트를 자동화하라
톰 화이트(Tom White)
데이터 파이프라인을 구축할 때 이번 섹션의 지침을 따라서 데이터 엔지니어링을 소프트웨어 엔지니어링처럼 취급하면, 잘 짜여진 안정적이고 강력한 파이프라인을 작성할 수 있습니다.
¦ 파이프라인 종단 간 테스트를 구축하라 ¦
이 단계에서는 파이프라인이 수행하는 작업 자체에 공을 들이지 마세요. 알려진 입력을 제공하고, 간단한 변환을 수행하고, 출력이 예상과 같은지 테스트하는 등 인프라에 집중하는 게 좋습니다. Junit이나 pytest와 같은 표준적인 단위 테스트 프레임워크를 사용하세요.