애초, 동시성이 연구된 이유이자 동시성의 가장 큰 장점은 지금까지 돌아본 프로세서의 역사에서 알 수 있듯이, 프로세서의 설계 변화로 늘어난 처리 장치 자원을 효율적으로 이용해 시스템의 성능을 향상시키는 것이다. 그럼 여기서 다시 두 가지 질문이 떠오른다. “성능은 어떻게 측정”하며, “성능을 개선할 수 있는 방법”은 무엇일까?

지연 시간 vs. 처리율

컴퓨팅 분야에서 성능을 계량화할 수 있는 방법은 여러 가지다. 우리가 컴퓨터 시스템을 바라보는 관점에 따라 방법은 달라진다. 시스템으로 더 많은 일을 처리하고 싶다면 먼저 각 작업에 걸리는 시간을 줄이는 방법을 생각해볼 수 있다.

여러분이 출퇴근하는 데 오토바이로 편도 한 시간이 걸린다고 생각해보자. 우리가 중요하게 생각하는 것이 통근 시간이라면, 시스템 성능은 오토바이 속도를 지표로 삼을 것이다. 오토바이가 빠르게 달린다면 통근 시간은 줄어든다. 컴퓨터 시스템 성능의 관점에서 보면 통근 시간은 지연 시간(latency)에 비견할 수 있다. 지연 시간은 단일 작업을 시작해 끝날 때까지 걸리는 시간을 의미한다.