İstanbul Şehzadebaşı'nda Kalenderhane mahallesinde doğdu. Babası Piyade Kaymakamı Miralay İsmâil Hakkı Bey, annesi Meliha Hanımefendi'dir. Mütefekkir-yazar Samiha Ayverdi'nin ağabeyidir. Fazlı ve Aligül isminde iki oğlu vardır.

Çocukluğu Şehzadebaşı'nda devrin çeşitli sanat ve ilim çevreleri içerisinde geçti. Aynı zamanda devir, Osmanlı Devleti'nin inkırazını haber veren çeşitli olaylar ve savaşlarla, toprak kayıpları, yenilgi ve zaferler, muhaceret ve işgal felaketleriyle karmakarışıktır. Osmanlı Devleti sona ermiş, Cumhuriyet kurulmuştur.

Ekrem Hakkı Ayverdi, 1907-1911 yıllarında Dârüttedris ve Hadîka-yı Meşveret mekteplerinden sonra Vefa Sultânîsi'ni bitirdi ve şimdiki adı İstanbul Teknik Üniversitesi olan Mühendis Mektebi'nden mühendis olarak mezun oldu (1920). İstanbul Belediyesi Fen İşleri'nde mühendis olarak bir buçuk sene kadar çalıştıktan sonra serbest meslek hayatına atıldı.

Hayatının bu döneminde müteahhit olarak yol, köprü, hastane gibi çok çeşitli işler yanında, başta Topkapı Sarayı olmak üzere İstanbul, Bursa, Edirne, Havsa, Çorlu'da mimari yapıların tamir, tadil ve restore işlerini de yapmıştır. Bu sayede Türk mimarisinin yapı özelliklerine vâkıf olma fırsatını buldu. Bir yandan da çeşitli sanat eserlerini, güzel yazı ve tezhip, yazma Kur'an-ı Kerim, murakka, cilt, nadide kumaş ve çiniler, cam eşya, yazı sanatına ait malzemeleri toplama ve muhafaza etmeye çalıştı. 1950'lerde "iş hayatında dürüstlük kalmadığı" gerekçesiyle müteahhitliği bıraktı. Bundan sonraki hayatını mimarlık tarihi araştırmacısı olarak geçirdi. İlmî ve fikrî yazılar neşretmeye başladı.

Araştırma çalışmaları, inceleme seyahatleri ve yapılan kaynak çalışmaları sonunda elde edilen bilgilerin değerlendirilme ve yayınları aralıksız sürdü. 1950'den sonra  Anadolu'nun her tarafına yaptığı seyahatler yanında 1952, 1956 ve 1975 yıllarında Yugoslavya, Yunanistan, Bulgaristan, Romanya ve Macaristan'a giderek buralardaki Türk eserlerini inceledi. 1953'te İstanbul'un 500. fetih yıl dönümü dolayısıyla ilk büyük eseri olan Fâtih Devri Mimârîsi'ni telif etti. Bu çalışma sonradan Osmanlı Devleti'nin başlangıcından Fâtih Sultan Mehmed devri sonuna kadar olan 250 senelik bir devreyi içine alacak şekilde dört cilt olarak genişletildi. Bunu takiben 1976 ve 1977 yıllarındaki iki seyahat ile Avrupa'daki Osmanlı eserlerini çok geniş arşiv çalışmalarıyla, dört cilt halinde yayımladı. Bunun yanında sayısı sekseni bulan mimarlık, sanat ve şehircilik hakkında muhtelif fikir yazıları ve ansiklopedi maddeleri kaleme aldı.

Ekrem Hakkı Ayverdi, 1950'de İstanbul'un 500. fetih ve müteakip yıllarını kutlamak üzere kurulan İstanbul Fetih Derneği'nin kurucu üyelerindendir. Adı İstanbul Fetih Cemiyeti'ne çevrilen bu derneğin 1953'ten başlayarak vefatına kadar (1984) genel başkanlığını yaptı. Kardeşi Samiha Ayverdi ve eşi İlhan Ayverdi ile birlikte 1979 senesinde "Kubbealtı Akademisi Kültür ve Sanat Vakfı" adı altında bir vakıf kurarak ömrü boyunca topladığı koleksiyonları ile evini ve diğer emlakini bu vakfa bağışladı. Kendisinden sonra 2009 yılına kadar vakfın başkanlığını eşi İlhan Ayverdi yürüttü.

3 Mayıs 1979'da İstanbul Üniversitesi tarafından fahrî doktorluk payesi verildi. Kendisinin mimarlık sahasında orijinal tek projesi, hocası ve son devrin tanınmış mutasavvıf ve eğitimcilerinden Kenan Rifâî Büyükaksoy'un Merkezefendi Kabristanı'ndaki açık türbesidir.

Türkler'in mimarlık sanatına yaptığı katkı ile müstakil bir medeniyet başlığı altında ele alınması gerektiğini düşünen Ayverdi Türk sanatının da müstakil ve orijinal bir sanat olarak kabul edilmesi fikrinin en büyük savunucularındandır. Bütün abidelerin ve sanat eserlerinin önce kayıt, resim ve çizimlerle çok sağlam bir tescilinin lazım geldiğini düşünüyordu. Kitabeler ve kabirlere kadar her türlü eserin tespit edilmesiyle büyük ölçüde kurtulmuş olacağını söylüyor, "Bunları okuyanların abidelerden önce yok olduğu âşikârdır" diyerek tespit ve tescili yapılan yapıların "aslına şaşmaz bir sadakatle" tamirlerini teklif ediyordu.

Ekrem Hakkı Ayverdi'nin inşa ve restore ettiği eserlerin tespit edilebilenlerden önemli olanlarının bazıları şunlardır:

1922'de Zeynep Hanım Konağı tamir ve tadili (Fen-Edebiyat Fakültesi), Medresetü'l-kudât tadilatı (Dârülfünun Kütüphanesi), Harbiye Nezareti umumi tadilatı (İstanbul Üniversitesi Merkez Binası); 1923, 1924'te Bursa Vilayet Konağı, Bursa Maliye-Defterdarlık Dairesi; 1933, 1934, 1935'te Boyacı Köyü Camii inşaatı, Heybeliada Camii inşaatı, Üniversite Rasathanesi; 1943-1950'de Kuyucu Murad Paşa Sebili ve Medresesi restorasyonu, Hasan Paşa Medresesi restorasyonu, Barbaros Abidesi kaidesi inşaatı, Bozdoğan Kemeri tamiri, Gazanfer Ağa Medresesi restorasyonu; 1935'te Beykoz İshak Ağa Çeşmesi restorasyonu, Bâlî Paşa Camii restorasyonu, Mesih Paşa Camii restorasyonu; 1937'de Lâleli Camii restorasyonu; 1943'te Ayasofya restorasyonu; 1929-1946 Edirne Selimiye Camii restorasyonu, Edirne Üç Şerefeli Cami restorasyonu, Edirne Eskicami restorasyonu, Edirne Beyazıt Camii restorasyonu, Edirne Murâdiye Camii restorasyonu, Edirne Süleymaniye Camii restorasyonu; 1938'de Havsa'da Sokullu Camii restorasyonu; 1949'da Çorlu'da Süleyman Paşa Camii restorasyonu; Topkapı Sarayı tamirleri.

Hakkında çok çeşitli mülakat, anma, tanıtma ve hatıra çalışmaları yapılmıştır.

1946'dan beri çeşitli dergi ve gazetelerde yayımlanan makaleler yekünü aşağı yukarı seksen bire ulaşmaktadır. Bunların bir kısmı vefatından sonra İstanbul Fetih Cemiyeti tarafından Makaleler adıyla kitap olarak neşredilmiştir. Yugoslavya'da Türk Âbideleri ve Vakıfları (Vakıflar Dergisi, sy. 3, Ankara 1957, ayrı basım) gibi bazıları ise bir kitap hacmindedir. Makaleleri dışında büyük ve küçük ebattaki, birkaçı müşterek imzalı telif eserinin sayısı on altıyı bulmaktadır. 24 Nisan 1984'te Fatih'teki evinde vefat etmiş ve Merkezefendi Mezarlığı'na defnedilmiştir.

Eserleri: 1. XVIII. Asırda Lâle (İstanbul 1950); 2. Fâtih Devri Mimârîsi (İstanbul 1953); 3. Fâtih Devri Hattatları ve Hat Sanatı (İstanbul 1953); 4. Fâtih Devri Mimârî Eserleri (İstanbul 1953); 5. XIX. Asırda İstanbul Haritası (İstanbul 1958, 2. baskı, İstanbul 1978); 6. Fâtih Devri Mimârîsi Zeyli (İstanbul 1961); 7. Osmanlı Mimârî Çağının Menşei, Osmanlı Mimârîsinin İlk Devri, Ertuğrul, Osman, Orhan Gaziler, Hüdâvendigâr ve Yıldırım Bâyezid (630-805/1230-1402) (I. cilt, İstanbul 1966); 8. Osmanlı Mimârîsinde Çelebi ve II. Sultan Murad Devri (806-855/1403-1451) (II. cilt, İstanbul 1972); 9. Osmanlı Mimârîsinde Fâtih Devri (855-886/1451-1481) (III. cilt, İstanbul 1973); 10. Osmanlı Mimârîsinde  Fâtih Devri (855-886/1451-1481) (IV. cilt, İstanbul 1974); 11. İlk 250 Senenin Osmanlı Mimârîsi (İbrahim Aydın Yüksel ile, İstanbul 1976);  12. Avrupa'da Osmanlı Mimârî Eserleri-Romanya, Macaristan (I. cilt, 1 ve 2. kitap, İbrahim, Gürbüz Ertürk ve İbrahim Numan ile, t.y., takribî 1976); 13.  Avrupa'da Osmanlı Mimârî Eserleri-Yugoslavya (II. cilt, 3. kitap, İbrahim Aydın Yüksel, Gürbüz Ertürk, İbrahim Numan ile, İstanbul 1981); 14. Avrupa'da Osmanlı Mimârî Eserleri, Yugoslavya (III. cilt., 3. kitap, İbrahim Aydın Yüksel, Gürbüz Ertürk, İbrahim Numan ile, İstanbul 1981); 15. Avrupa'da Osmanlı Mimârî Eserleri-Bulgaristan, Yunanistan, Arnavutluk (IV. cilt, 4, 5, 6. kitaplar, İstanbul 1982); İstanbul Vakıfları Tahrir Defteri (953/1546) Tarihli (Ömer Lütfi Barkan ile, İstanbul 1970); 16. Türk Mimârîsi ve Dünya (İstanbul 1984).