볼츠만 머신과 RBM(제한된 볼츠만 머신)

HMM은 시간에 따른 은닉 상태의 변화를 확률적으로 모델링하는 도구이기에 음성이나 텍스트 같은 시퀀스 데이터에서만 작동합니다. 또한, 각 시간의 상태는 이전 상태에만 의존한다는 마르코프 성질을 따르기 때문에 복잡한 상호작용을 모델링하기 어렵습니다.

볼츠만 머신(BM, Boltzmann Machine)은 HMM의 한계를 극복하기 위해 1985년 제프리 힌턴과 테런스 세즈노스키(Terrence Sejnowski)가 제안한 모델입니다. 볼츠만 머신은 에너지 최소화 원리를 이용해 패턴을 학습하는 확률적 신경망 모델입니다.

에너지 최소화 원리를 쉽게 설명하자면, ‘점심’이라는 단어가 입력되면 볼츠만 머신은 김밥, 비빔밥, 라면처럼 연관성이 높은 단어에 더 낮은 에너지 상태를 할당합니다. 이러한 과정의 반복을 통해 단어 간 의미 관계와 문장 속 패턴을 학습하며, 이는 언어 모델링의 초기 연구에 중요한 기반이 되었습니다.

볼츠만 머신은 모든 노드가 연결된 완전 연결(fully connected) 구조로, 모든 노드(유닛)가 서로 연결되어 있습니다. 이러한 특성은 파라미터 수가 매우 많아지고, 계산량이 커지는 단점이 있었습니다.