폰 노이만은 이런 기계들을 조작하고 프로그래밍하는 방법은 알았지만, 카드 뭉치를 여러 기계로 옮기며 복잡하게 수작업으로 처리하는 방식은 신뢰하지 않았습니다. 한 장이라도 카드가 잘못 끼워지거나, 배치 순서가 바뀌거나, 플러그판에서 플러그가 한 개라도 잘못 연결되면 며칠 치 작업이 순식간에 날아갈 수 있었기 때문입니다. 그렇기에 그의 마음속에서 자라나던 컴퓨팅 기계에 대한 꿈은 이때부터 본격적으로 뿌리를 내리기 시작합니다.

폰 노이만은 자신의 꿈을 로스앨러모스 곳곳에 퍼뜨리기 시작했습니다. 그는 과학자들과 관리자들에게 자신의 고민을 이야기하고, 과학연구개발국(OSRD)의 책임자인 워런 위버(Warren Weaver)에게 편지를 보내 더 빠른 계산 장치를 만들기 위한 도움을 요청합니다. 이에 위버는 폰 노이만에게 전기 기계식 컴퓨터인 하버드 마크 I의 책임자 하워드 에이컨(Howard Aiken)을 소개합니다.