7.3.4 그레이디언트 부스팅 회귀 알고리즘
이번에는 그레이디언트 부스팅 회귀 알고리즘을 살펴봅시다. 이 알고리즘은 결정 트리 앙상블을 이용해 데이터에 숨겨진 패턴을 더 잘 표현할 수 있습니다.
회귀 문제에 그레이디언트 부스팅 회귀 알고리즘 적용하기
이 절에서는 그레이디언트 부스팅 회귀 알고리즘으로 회귀 문제를 풀어 보겠습니다.
1. 그레이디언트 부스팅 회귀 알고리즘으로 모델을 훈련합니다.
▼ myGradientBoostRegression.ipynb
[in :]
from sklearn import ensemble
params = {'n_estimators': 500, 'max_depth': 4, 'min_samples_split': 2,
'learning_rate': 0.01, 'loss': 'ls'}
regressor = ensemble.GradientBoostingRegressor(**params)
regressor.fit(X_train, y_train)
[out:]
GradientBoostingRegressor(alpha=0.9, criterion='friedman_mse', init=None,
learning_rate=0.01, loss='ls', max_depth=4,
max_features=None, max_leaf_nodes=None,
min_impurity_decrease=0.0, min_impurity_split=None,
min_samples_leaf=1, min_samples_split=2,
min_weight_fraction_leaf=0.0, n_estimators=500,
n_iter_no_change=None, presort='auto',
random_state=None, subsample=1.0, tol=0.0001,
validation_fraction=0.1, verbose=0, warm_start=False)