13.8 마르코프 분석
책의 단어를 무작위로 선택하면 어휘는 이해할 수 있지만, 문장을 얻을 수는 없을 것이다.
this the small regard harriet which knightley's it most things
무작위 단어를 나열하면 인접 단어 사이의 관계가 없기 때문에 이해할 수 없게 된다. 예를 들어 실제 문장에서는 “the” 뒤에는 형용사 또는 명사가 오지, 동사나 부사가 온다고 예상하지는 않는다.
이러한 종류의 관계를 측정하는 한 가지 방법이 마르코프 분석인데, 주어진 단어의 시퀀스에 대해서 다음에 올 단어의 확률을 뽑아내는 방법이다. 예를 들어 노래 “Eric, the Half a Bee”는 다음과 같이 시작한다.*
Half a bee, philosophically,
Must, ipso facto, half not be.
But half the bee has got to be
Vis a vis, its entity. D’you see?
But can a bee be said to be
Or not to be an entire bee
When half the bee is not a bee
Due to some ancient injury?
* 역주 귀도 반 로섬은 70년대를 풍미한 영국의 코미디 그룹 몬티 파이썬을 좋아해서 자신이 만드는 프로그래밍 언어의 이름을 파이썬으로 정했다. “Eric, the Half a Bee”는 이 프로그램에 나오는 노래다.