캐시 메모리는 RAM보다 속도가 훨씬 빠르며 CPU 칩 안에 함께 있기 때문에 거리상으로도 훨씬 가깝다. 캐시 메모리 덕분에 CPU는 데이터와 명령을 RAM에서 읽어올 때까지 매번 기다리지 않아도 된다. CPU에 데이터(프로그램의 명령도 데이터로 간주한다)가 필요하면 해당 데이터가 캐시에 있는지 캐시 컨트롤러가 확인하고 데이터를 프로세서로 전달한다. 만약 필요한 데이터가 캐시에 없으면 RAM에서 데이터를 읽어와 캐시에 저장한다. 캐시 컨트롤러는 요청받은 데이터를 분석하고 앞으로 RAM에서 읽어와야 할 데이터가 무엇인지 예측해 그 데이터를 미리 캐시에 저장해둔다.