Feltehetőleg osztrák eredetű családba született 1814. április 6-án Székesfehérváron. Apja Ybl Miklós kereskedő, a megyei választmány tagja, anyja neve Eiman Anna. A fiú 1825-től a párizsi Császári és Királyi Polytechnikai Intézetben tanult, ahol különösen rajzból és elemi mennyiségtanból jeleskedett. Műegyetemi tanulmányait 1831-ben fejezte be kitűnő eredménnyel, majd mestersége gyakorlati elsajátítására törekedett. A nagy klasszicista építész, Pollack Mihály műhelyében inaskodott, ahol 1832-ben szabadult. Pollack meleg hangú ajánlóleveleivel a bécsi klasszicizmus nagy építészéhez, Koch Henrikhez ment, akitől 184o-ben távozott a müncheni Királyi Művészeti Akadémiára. Egy évvel később Tirolon át Itáliába indult, de szerzett vízumot az Egyházi Államba, a Szárd Királyságba, Poroszországba, Szász- és Franciaországba is. Az olasz izléssel való találkozás egész életére meghatározta: Palladio, Galeazzo Alessi, Bramante épületei; Vicenza, Pisa, Velence, Firenze légköre és az átkelés az Alpokon.

A kalandozásokat az itthon anyagi gondok árnyékolták be, utazásai édesapja nem tudta tovább támogatni, így székesfehérvári házuktól meg kellett válniuk. Hazajött és dolgozni kezdett. Pollack Mihály fiával, Pollack Ágostonnal kezdett közös vállalkozásba, Építészeti Intézetet nyitottak Pesten, a Dorottya utcában. Az első évek nehezen mentek, majd 1845-ben megbízást kaptak a Károlyi-féle fóti kastély átépítésére, majd a templom megtervezésére. Ez a munka tette egycsapásra híressé, ettől vált a magyar főúri világ legkedveltebb építészévé. Olyannyira, hogy 1860-ban még Széchenyi is megkereste, hogy cenki birtokára templomot terveztessen vele. Ekkoriban kezdődött Ybl romatikus korszaka, melyben olyan híres arisztokrata családoknak épített kastélyokat, templomokat, gazdasági épületeket, mint a Zichy, Festetics, Apponyi, Andrássy, Esterházy és Orczy. Ezek mellett természetesen az intézmények és a polgárok megbízásait is elvállalta. Munkáját dícséri a Múzeum körúti átjáróház, a Bajcsy Zsilinszky út 17. szám alatt álló hatalmas bérház, valamint a II. világháborúnak sajnos áldozatul esett Nemzeti Lovarda.

Kiváló szakértelemmel dolgozott, és végleges megoldásai mindig jobbak voltak, mint tervei. Egyik munkatársa feljegyzései szerint "Nem egy botját ütötte cafatokra, hogy a kő rossz voltát bizonyítsa". Ugyanakkor szerény volt, és önzetlen, szemében jóság tükröződött. A romantika és a hellénizmus rövid átmenete után - mely a Magyar Rádió Olasz épületén látható - a neoreneszánsz eszmény követőjévé válik. Ekkor készül a Tudományos Akadémia, bútorzatotot tervezett a Nemzeti Múzeumba, öntöttvas rácsot a budai rakpartra, majd megtervezte a Bródy Sándor utca 8. alatt felépített Képviselőházat is. A 60-as évek második felében az akkor Habsburg József tulajdonában lévő Margitszigettel foglalatoskodott. A területen lévő nagy mennyiségű kénes hévízre alapozva világfürdőt terveztek. 1870-ben a Sugár út szabályozása ideje alatt Ybl a Fővámház építéséhez lát hozzá, mi ma a Közgazdaságtudományi Egyetem.

1873. szeptemberében pályázatot hirdettek az Operaház megtervezésére, melyen Ybl Miklós munkája nyerte el a pályadíjat. 1875. októberében látott az építési munkához. Az eseményről még Krúdy is megemlékezett a Budapest vőlegénye című kötetben. "A Sugár út úgy feküdt Budapest testében, mint a Duna Magyarországéban. Mellette, nélküle, kívüle nem lehet elmenni senkinek. A Sugár úttal Pesten nem versenyezhet senki: a város reménysége volt, pedig csak akkor teszi az első kapavágást Podmaniczky Frigyes, Ybl építész és Zofahl mérnök a Hermina téren, ahol az Operaházat kimérik és megraknak a kiásott földdel egy kétkerekű talyigát". Vajon ki az a vállalkozó szellemű építész, aki az akkor még isten hátamögöttinek tartott helyen, "ahol őszidőben terjedelmes mocsár kerekedik az erre tévedő pesti fiákeres mulatságára, míg tavasszal és nyáron káka és nád terem, benne fészket rak a vadmadár, vadkacsa kotyog és békák kuruttyolnak" - vállalkozik rá, hogy szentélyt emeljen a zenének? Európa egyik legszebb operaháza 1887. szeptember 27-én a királyi család jelenlétében a Bánk bánnal nyitotta meg kapuit. Közben elismerésekkel is jutalmazták. 1882-ben a Lipót-rend lovagkereszjét kapta meg, 1885. június 21-én pedig a király a főrendiház tagjává nevezte ki. Utolsó nagyszabású munkája a budai Vár kiépítési terve volt, melyben unokaöccse, Ybl Lajos is segédkezett. 1891. január 22-én érte a halál.