4. reduce 함수를 사용하여 데이터를 집계하여 최종 결과를 출력합니다.
[in :]
wordCountsCollected = wordPairs.reduceByKey(lambda x, y: x + y)
print(wordCountsCollected.collect())
[out:]
[('python', 1), ('java', 2), ('ottawa', 2), ('news', 1)]
지금까지 간단한 사례를 통해 분할 및 정복 전략의 작동 방식을 살펴봤습니다.
주의 ≡
마이크로소프트 애저, 아마존 웹 서비스, 구글 클라우드 플랫폼과 같은 최신 클라우드 컴퓨팅 인프라는 분 할 및 정복 전략을 직접 또는 간접적으로 사용하여 대규모 데이터를 빠르고 효율적으로 처리합니다.