그림 6-3에서 보듯이 k-폴드 앙상블 방식은 매 라운드(round)마다 k-1개 훈련 폴드로 모델을 훈련하여 총 k개의 모델을 만듭니다. 검증 폴드에서 모델을 평가한 후, 이 모델들을 모아 다수결 투표 분류기를 만들거나 스태킹을 사용해 앙상블 모델을 만들 수 있습니다.⁷ 스태킹은 메타 모델(meta-model)을 사용해 여러 개의 분류 모델이나 회귀 모델을 합치는 기법입니다.

앙상블 방법은 과대적합을 줄이고 안정성을 높일 수 있지만 이 방법이 항상 적절한 것은 아닙니다. 예를 들어 앙상블 모델을 관리하고 배포해야 하는 단점이 있어 하나의 모델을 사용하는 것보다 복잡하고 계산 비용이 많이 소요됩니다.