17
자율성 및 신속한 혁신을 돕는 데이터 엔지니어링
제프 마그누슨(Jeff Magnusson)
여러 조직에서 데이터 엔지니어링은 완전히 전문 분야로 취급됩니다. 데이터 파이프라인은 데이터 엔지니어가 지배하는 복잡하고 신비한 영역처럼 보입니다. 흔히 데이터 엔지니어는 전담 팀으로 조직되거나 수직적으로 구성된 제품 기반 팀에 포함됩니다.
물론 전문가에게 업무를 위임해야 할 때도 있지만, 동시에 이것은 전문 분야를 넘어선 작업을 하려면 전문가가 생성한 데이터나 모델을 넘겨받아야 한다는 뜻이기도 합니다. 다행히 적합한 프레임워크와 인프라가 있다면 별도로 데이터를 전달하지 않고도(아마도 더 중요한 점은 반복 주기를 도는 것이겠지만) 다수의 데이터 흐름 및 작업을 구성할 수 있습니다.