SBS 알고리즘 이면의 아이디어는 매우 간단합니다. SBS는 새로운 특성의 부분 공간이 목표하는 특성 개수가 될 때까지 전체 특성에서 순차적으로 특성을 제거합니다. 각 단계에서 어떤 특성을 제거할지 판단하기 위해 최대화할 기준 함수를 정의합니다. 기준 함수에서 계산한 값은 어떤 특성을 제거하기 전후의 모델 성능 차이입니다. 각 단계에서 제거할 특성은 기준 값이 가장 큰 특성으로 정의할 수 있습니다. 이해하기 쉽게 말하면 각 단계에서 제거했을 때 성능 손실이 최소가 되는 특성을 제거합니다. SBS 정의에 따라 이 알고리즘을 간단히 네 단계로 정리할 수 있습니다.
1. 알고리즘을 k = d로 초기화합니다. d는 전체 특성 공간 Xd의 차원입니다.
2. 조건 를 최대화하는 특성 를 결정합니다. 여기서 x ∈ Xk입니다.
3. 특성 집합에서 특성 를 제거합니다. 즉, 입니다.
4. k가 목표하는 특성 개수가 되면 종료합니다. 아니면 단계 2로 돌아갑니다.
Note ≡ 순차 특성 알고리즘 자료
<Comparative Study of Techniques for Large-Scale Feature Selection>(F. Ferri, P. Pudil, M. Hatef, J. Kittler, 1994)의 403~413쪽에서 여러 가지 순차 특성 선택 알고리즘에 대한 자세한 평가를 볼 수 있습니다.