A számítógép atyja margittai Neumann János Lajos néven született jómódú bankár zsidócsaládba Budapesten, 1903. december 28-án. Iskolai tanulmányait 1913-ban kezdte meg a Fasori Evangélikus Gimnáziumban, mit akkoriban a világ egyik legjobb középiskolájának tartottak. Ez az intézmény nem csak magas szintű képzéséről volt ismeretes, hanem toleranciájáról is. Amikor Neumann János 1921-ben leérettségizett, már hivatásos matematikusnak számított, de ő nem elégedett meg ennyivel, több tudásra vágyott.
Beiratkozott a budapesti tudományegyetem bölcsészkarára, fő tárgyul a matematikát, melléktárgyul a fizikát és a kémiát választva. Ezzel párhuzamosan tanult a berlini egyetemen, vegyészmérnöknek pedig Zürichben. A zürichi vegyészi diplomájával azonos időben szerezte meg a summa cum laude matematikai doktorátust a budapesti tudományegyetemen. Ösztöndíjasként ment a német matematika fellegvárának számító Göttingenbe, ahol a Bolyai-díjas David Hilbertnek lett a munkatársa. Feltűnt, hogy nagyon gyorsan tudja a problémákat megoldani. Ez - feltehetőleg - mérnöki tanulmányaival függött össze. Akkori 23 évével ő számított a berlini egyetem legfiatalabb tanárának. 1927-től ott, 1929-től pedig a hamburgi egyetemen tanított matematikát.
1930-ban vendégprofesszornak hívták az Egyesült Államokba, a princetoni egyetemre. Mivel akkor már nem volt biztonságos a Németországban való tartózkodás, elfogadta az egyetem ismételt felkérését, s harminc éves korában kinevezték a princetoni Felsőfokú Tanulmányok Intézetének (IAS) matematika professzorává. Családjával együtt Amerikába költözött Amerikai állampolgár 1937-ben lett. A második világháború idején ő is bekapcsolódott a haditechnikai kutatásokba. Tanácsadó volt Los Alamosban, ahol az első atombomba megépítésével kapcsolatos titkos programban vett részt. 1955-ben az öttagú Atomenergiai Bizottság (Atomic Energy Commission)tajává nevezték ki, mi egy tudós számára a legmagasabb szintű kormánymegbízatásnak számított.
Érdeklődése egyre inkább az alkalmazott matematikai problémák, ballisztikai, hidrodinamikai kérdések felé fordult. Számítástechnikával és az első amerikai számítógéppel (ENIAC) 1944-ben került kapcsolatba. Akkoriban a "Manhattan-terv" keretén belül kellett nagyon sok numerikus számítást elvégeznie, amihez gépet keresett. 1945-ben már ő volt a Princetoni Egyetem Felsőfokú Tanulmányok Intézetében az elektronikus számítógép-program igazgatója. Ott tervezte és építette meg Hermann Goldstine barátjával és munkatársával közösen az akkori legkorszerűbb IAS- vagy Neumann-számítógépet. Ma is az általa kialakított elven működik a világ valamennyi számítógépe. Olyan előrelátó és humánus volt, hogy elvét sosem engedte szabadalmaztatni.
Azért, hogy azt megakadályozza egy publikációban nyilvánosságra a Neumann -elméletet, ami a szabadalmi védettséget lehetetlenné tette. "A számítógép nem egy vagy több ember tulajdona, hanem az egész emberiségé."- mondta. Ezzel sikerült megakadályoznia, hogy ebből néhány ember üzletet csináljon vagy hasznot húzzon. Bár Neumann Jánost többnyire matematikusként emlegetjük, jelentős eredményeket mutatott fel más területeken is. Ő vetette meg a numerikus matematika alapjait, közgazdászként Oscar Morgenstrennel közösen írt könyvet a játékelméletről, mi a közgazdasági tudományoknak ma is meghatározó elmélete. Fizikusként a lökés- és robbanáshullámok fizikájának vezető szakértője volt, de a folyadékok és gázok hangsebességnél gyorsabb turbulens áramlásának kutatásában elért eredményei is jelentősek. De egyre időszerűbbé válnak filozófiai és morális nézetei is.
Tagja az USA Nemzeti Tudományos Akadémiájának, az Amerikai Művészeti és Tudományos Akadémiának, az Academia dei Linceinek, a Holland Királyi Akadémiának, a Perui Tudományos Akadémiának stb. Az Eötvös Társulat tiszteletbeli tagja (1940). Az Amerikai Matematikai Társaság elnöke (1951-1953). Tiszteletbeli doktor a Princetoni Egyetemen (1950), a Harvard Egyetemen (1950), az Isztanbuli Egyetemen (1952), a Case Műegyetemen (1952), a Marylandi Egyetemen (1952), a Müncheni Műegyetemen (1953). Megkapta: a Fermi-díjat (1956), az USA érdemrendet (1947), az Einstein-érmet (1956), az USA Szabadság Érmét Eisenhower elnöktől (1956).
Washingtonban halt meg 1957. február 8-án, Princetonban van eltemetve. A Repülés és Rakéta Úttörőinek Dicsőségcsarnokában bemutatott 15 személy egyike az USA Légierejének Űrparancsnoksági Központjánál a Peterson Légibázison, Colorádóban. A Holdon kráter van elnevezve róla. Budapesten és Székesfehérváron Neumann János-utca van. A Magyar Számítástudományi Társaság Neumann-érmet ad ki.
