가지치기된 모델이 더 나은 일반화 성능을 낸다는 사실과 이중 하강과 그로킹 연구 결과를 어떻게 조화시킬 수 있을까요? 최근 연구자들은 가지치기로 인한 과대적합 감소가 부분적으로 훈련 과정의 개선 때문임을 보여 주었습니다. 가지치기는 훈련 시간을 늘리고 학습률 스케줄(learning rate schedule)을 처음으로 되돌립니다. 이는 부분적으로 일반화 성능 향상에 기여할 수 있습니다.

가지치기와 지식 정제는 모델의 계산 효율성을 향상할 수 있는 훌륭한 방법입니다. 모델의 일반화 성능을 개선할 수도 있지만 이런 기법은 과대적합을 줄이는 데 대표적이거나 효과적인 방법은 아닙니다.