이러한 전통적 데이터 직무의 작업은 대체로 표준화되어 있습니다. 이를테면 데이터베이스 관리자는 데이터를 저장할 디스크 위치나 관계형 무결성을 보장하는 방법을 데이터베이스에 알려주지 않습니다. 관계형 기술이 성숙mature하여 많은 복잡한 작업을 쉽게 처리할 수 있기 때문입니다. 마찬가지로 ETL 도구에도 공통적인 소스 시스템에 대한 어댑터와 일반적인 변환 시스템 작업을 처리하는 기능 및 공통적인 대상 저장소에 대한 훅hook이 있습니다. 수년간 소수의 성숙한 데이터 저장소와 상호작용하는 적은 수의 성숙한 도구만 있었습니다. 비교적 단순한 삶이었죠!

¦ 데이터 엔지니어가 필요한 이유 ¦

지금도 여전히 앞서 설명한 전통적인 역할이 존재합니다. 그렇지만 지금은 그런 역할만으로는 부족하기 때문에, 데이터 엔지니어가 개입해서 그 사이의 빈틈을 채웁니다.

요즘은 ETL 도구나 관계형 데이터베이스에 친숙하지 않은 데이터 타입이 많이 있으므로 그에 맞는 새로운 도구가 필요합니다. 그렇지만 대다수의 새로운 도구와 저장소는 아직 충분히 성숙하지 않아서 복잡한 코딩이 필요합니다. 게다가 이렇게 덜 성숙된 기술을 통합해야 하는 경우도 많습니다.