7.4 약한 학습기를 이용한 에이다부스트
앙상블 메서드에 관한 마지막 절로 부스팅(boosting)을 설명하겠습니다. 특히 가장 유명한 부스팅 구현인 에이다부스트(AdaBoost, Adaptive Boosting)에 초점을 맞추겠습니다.
Note ≡ 에이다부스트 소개
에이다부스트 이면에 있는 원래 아이디어는 1990년에 로버트 샤파이어(Robert E. Schapire)가 고안했습니다.16 로버트 샤파이어와 요아브 프룬드(Yoav Freund)가 ICML 1996에 에이다부스트 알고리즘을 발표한 이후에 에이다부스트는 수년간 널리 사용되는 앙상블 방법 중 하나가 되었습니다.17 2003년에 프룬드와 샤파이어는 이 놀라운 작업에 대한 공로로 괴델 상(Gödel Prize)을 받았습니다. 이 상은 컴퓨터 과학 분야에서 가장 뛰어난 연구 논문에 수여하는 최고의 상입니다.
부스팅에서 앙상블은 약한 학습기(weak learner)라고도 하는 매우 간단한 분류기로 구성됩니다. 이 분류기는 랜덤 추측보다 조금 성능이 좋을 뿐입니다. 약한 학습기의 전형적인 예는 깊이가 1인 결정 트리입니다. 부스팅의 핵심 아이디어는 분류하기 어려운 훈련 샘플에 초점을 맞추는 것입니다. 즉, 잘못 분류된 훈련 샘플을 그다음 약한 학습기가 학습하여 앙상블 성능을 향상시킵니다.
이어지는 절에서 일반적인 부스팅 알고리즘의 절차와 에이다부스트(AdaBoost)에 대해 소개하겠습니다. 마지막으로 사이킷런을 사용하여 실제 분류 예제를 다루어 보겠습니다.
16 The Strength of Weak Learnability, R. E. Schapire, Machine Learning, 5(2): 197-227, 1990
17 Experiments with a New Boosting Algorithm by Y. Freund, R. E. Schapire, and others, ICML, volume 96, 148-156, 1996