CPU는 메모리에 접근해 많은 데이터를 처리한다. 이때 시간을 줄이기 위해 자주 사용하는 데이터를 임시로 캐시 메모리에 저장한다.

1.6.1 캐시 메모리와 지역성 중요도 ★★★

캐시 메모리(cache memory)는 CPU와 메인 메모리 간에 데이터 접근 시 속도 차이를 줄이기 위해 사용한다. CPU에서 메인 메모리에 있는 데이터를 가져올 때 자주 사용하는 데이터는 캐시 메모리에 따로 저장한다. 이후에 해당 데이터가 필요하면 캐시 메모리에 접근한다. 이러면 메인 메모리에 접근하는 것보다 속도를 향상시킬 수 있다.

캐시 메모리에 어떤 데이터를 저장할지는 지역성을 바탕으로 결정한다. 지역성(locality)은 CPU가 자주 참조하는 데이터가 고르게 분포되지 않고 특정 부분에 몰려 있는 것을 나타낸다. 캐시 적중률을 높이려면 지역성을 바탕으로 데이터를 저장해야 한다.