더북(TheBook)

¦ 데이터 시간 윈도우 배치 모델 ¦

데이터 시간 윈도우Data Time Window, DTW 배치 모델에서는 레코드의 data_timestamp가 윈도우 범위에 들어가는 모든 레코드를 수신하면 윈도우에 대한 배치가 생성됩니다. 다음과 같은 경우 이 배치 모델을 사용합니다.

 

데이터를 출처에서 가져오는 경우(출처에서 밀어 보내는 것이 아님)

추출 로직에서 data_timestamp가 시간 윈도우 밖에 있는 레코드를 필터링할 수 있음

 

일례로 데이터베이스에서 윈도우 내의 모든 트랜잭션을 추출할 때 DTW 배치를 사용합니다. DTW 배치는 주어진 시간 윈도우에 속하는 레코드가 모두 해당 배치에 존재한다고 보장되기 때문에 데이터 분석가가 분석 업무를 수행하기 쉽습니다. 따라서 데이터 분석가는 작업 대상 데이터를 정확히 알고 있습니다. 그러나 레코드 순서가 잘못되면 지연이 발생할 수 있으므로 DTW 배치의 결과를 예측하기 어렵습니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.