여기서 볼 수 있듯이 규제 강도가 가장 낮을 때(C = 0.001) 최상의 교차 검증 결과를 얻었습니다. 반면 트리 깊이는 성능에 전혀 영향을 주지 않는 것 같습니다. 이 데이터를 분할하는 데는 깊이가 1인 결정 트리로 충분합니다. 테스트 데이터셋을 모델 평가에 한 번 이상 사용해서는 안 된다는 것을 기억하세요. 이 절에서는 튜닝된 하이퍼파라미터로 일반화 성능을 추정하지 않겠습니다. 또 다른 앙상블 학습 방법인 배깅(bagging)으로 바로 넘어가죠.
Note ≡ 스태킹을 사용한 앙상블 만들기
이 절에서 구현한 다수결 투표 방식을 스태킹(stacking)과 혼동하지 마세요. 스태킹 알고리즘은 두 개의 층을 가진 앙상블로 이해할 수 있습니다. 첫 번째 층의 개별 분류기 예측이 두 번째 층으로 주입됩니다. 두 번째 층에서 또 다른 분류기(전형적으로 로지스틱 회귀)가 최종 예측을 만들기 위해 첫 번째 층의 예측을 사용하여 학습됩니다. 스태킹 알고리즘은 데이비드 월퍼트(David Wolpert)의 논문13에 자세히 소개되어 있습니다.
안타깝지만 이 글을 쓰는 시점에 이 알고리즘은 사이킷런에 아직 구현되어 있지 않지만 진행 중에 있습니다. 그동안에는 http://rasbt.github.io/mlxtend/user_guide/classifier/StackingClassifier/와 http://rasbt.github.io/mlxtend/user_guide/classifier/StackingCVClassifier/처럼 사이킷런과 호환 가능한 다른 구현을 사용해 보세요.
13 Stacked generalization, David H. Wolpert, Neural Networks, 5(2): 241-259, 1992