복잡한 설계가 대부분 그렇듯이 동시성 역시 여러 계층으로 나뉘어 있다. 여러 계층으로 구성된 설계에서는 상호 배타적이거나 모순되는 개념이라도 서로 다른 계층에서 동시에 공존할 수 있다. 예를 들면, 순차적 시스템에서 동시 실행이 가능하다.

개인적으로는 동시성의 계층적 설계를 차이코프스키의 교향곡을 연주하는 오케스트라에 즐겨 비유하곤 한다.

• 최상위층에는 개념적 설계 계층(애플리케이션 계층)이 있다. 이 설계는 작곡가가 쓴 곡에 해당한다. 알고리즘이 마치 악보의 음표 같이 컴퓨터 시스템의 각 구성 요소에 해야 할 일을 맡긴다.