CPU는 기본적인 산술 연산(덧셈 또는 곱셈)을 수행하는 여러 개의 회로(ALU)로 구성된다. 덕분에 복잡한 수학적 연산을 여러 부분으로 쪼개어 각기 다른 회로에서 동시에 수행할 수 있다. 이것을 명령어 수준 병렬성(instruction-level parallelism)이라고 한다. 이보다 더 낮은 수준의 병렬성으로 비트 수준 병렬성(bit-level parallelism)이 있다(대부분의 개발자는 이 수준까지 고려할 필요가 없다. 프로세서의 입장에서 실행이 가장 편리하게끔 인스트럭션을 배치하는 작업은 컴파일러가 해준다. 프로세서나 컴파일러의 마지막 성능 한 방울까지 짜내려는 소수의 엔지니어만이 이 수준의 병렬성에 관심이 있다).

병렬적 하드웨어를 만들 수 있는 가장 간단한 방법은 한 시스템에 프로세서를 두 개 이상 설치하는 것이다. 목공소의 사례에서 다른 모든 장인이 함께 주문을 처리할 수 있도록 고용한 관리자와 같다.