결정 영역을 그려 보면 에이다부스트 모델의 결정 경계가 깊이가 1인 결정 트리의 결정 경계보다 확실히 더 복잡합니다. 또 에이다부스트 모델이 이전 절에서 훈련한 배깅 분류기와 매우 비슷하게 특성 공간을 분할하고 있습니다.

▲ 그림 7-11 결정 트리와 에이다부스트의 결정 경계

앙상블 기법을 마무리하면서 언급할 것은 앙상블 학습은 개별 분류기에 비해 계산 복잡도가 높다는 점입니다. 실전에서는 비교적 많지 않은 예측 성능 향상을 위해 계산 비용에 더 투자할 것인지 주의 깊게 생각해야 합니다.

이 트레이드오프(trade-off)의 예로 자주 인용되는 것은 앙상블 기법을 사용하여 우승자가 가려진 100만 달러 넷플릭스 대회(Netflix Prize)입니다. 자세한 알고리즘 내용은 온라인에 공개되어 있습니다.²⁴ 우승 팀은 100만 달러 상금을 받았지만 복잡도가 높아 실제 애플리케이션에 적용하기 어렵기 때문에 넷플릭스는 이 모델을 구현하지 않았습니다.

“새로운 방법들을 오프라인에서 평가했지만 추가로 얻을 수 있는 정확도 향상이 운영 시스템에 적용하기 위해 필요한 노력만큼 가치가 있어 보이지 않았습니다.”²⁵