07
데이터 파이프라인의 배치 모델을 신중히 검토하라
라고담 머시(Raghotham Murthy)
데이터 레코드를 배치batch로 수집하고 배치 데이터 파이프라인을 구축하는 경우라면 일정 기간에 대한 배치를 생성하는 방법을 정해야 합니다. 배치는 레코드의 data_timestamp나 arrival_timestamp에 기반을 두는데, data_timestamp는 레코드가 자체적으로 갖는 최종 갱신 시점의 타임스탬프이고, arrival_timestamp는 처리 시스템이 레코드를 수신한 시점을 레코드에 붙인 것입니다.