23

과거에도 현재에도 미래에도 존재하는 데이터 웨어하우스

데이터 웨어하우스가 곧 사라질 거라는 오래된 소문은 아직까지 실현되지 않고 있습니다. 처음에는 NoSQL이, 그 다음에는 하둡Hadoop이, 그 다음에는 데이터 레이크가 데이터 웨어하우스를 끝장낼 것이라고 했지만 아직 건재합니다. 데이터 클라우드 회사인 스노우플레이크Snowflake는 2020년에 가장 인기 있었던 기업공개(IPO) 기업이었으며, 데이터 웨어하우스에서 가치를 끌어낼 수 있는 데이터 및 분석 엔지니어를 원하는 곳은 그 어느 때보다도 많습니다.

2010년에 바라봤던 데이터 웨어하우스의 미래는 상당히 암울했습니다. 대부분의 분석 팀은 데이터 웨어하우스에 로우 기반row-based 온라인 트랜잭션 처리(OLTP) 데이터베이스를 이용했습니다. 그리고 데이터 규모는 폭발적으로 증가했습니다. 그 모든 데이터를 처리하고 쿼리해서 분석하려면 컬럼 기반columnar database 데이터베이스가 도움이 되었지만, 이를 사용하려면 하드웨어를 확장해야 했습니다.