13.8 마르코프 분석

책의 단어를 무작위로 선택하면 어휘는 이해할 수 있지만, 문장을 얻을 수는 없을 것이다.

this the small regard harriet which knightley's it most things

무작위 단어를 나열하면 인접 단어 사이의 관계가 없기 때문에 이해할 수 없게 된다. 예를 들어 실제 문장에서는 “the” 뒤에는 형용사 또는 명사가 오지, 동사나 부사가 온다고 예상하지는 않는다.

이러한 종류의 관계를 측정하는 한 가지 방법이 마르코프 분석인데, 주어진 단어의 시퀀스에 대해서 다음에 올 단어의 확률을 뽑아내는 방법이다. 예를 들어 노래 “Eric, the Half a Bee”는 다음과 같이 시작한다.*

Half a bee, philosophically,

Must, ipso facto, half not be.

But half the bee has got to be

Vis a vis, its entity. D’you see?

But can a bee be said to be

Or not to be an entire bee

When half the bee is not a bee

Due to some ancient injury?