Gazi Üniversitesi'nin temeli, 1926 yılında kurulan Gazi Terbiye Mektebi ve 1959 yılında açılan Ankara İktisadi ve Ticari İlimler Akademisi ile buraya bağlı mühendislik, mimarlık ve sağlıkla ilgili okullara dayanır.

Orta dereceli okullara öğretmen yetiştirmek amacıyla 1926 yılı başında Konya'da açılan Orta Muallim Mektebi bir sene sonra Ankara'ya taşındı. Mektep binası olmadığından eğitim öğretim kısa süre Ankara Lisesi, Çocuk Esirgeme Kurumu gibi binalarda yapıldı. 1929'da Gazi Terbiye Enstitüsü adını alan okul, Mimar Kemaleddin tarafından planlanan binada eğitime başladı. Okul, 1947 yılında Gazi Eğitim Enstitüsü, 1980'de Gazi Yüksek Öğretmen Okulu adını aldı. Enstitüde Pedagoji, Fen Bilimleri, Sosyal Bilimler, Yabancı Diller, Resim, Müzik ve Beden Eğitimi bölümleri vardır (bk. Gazi Orta Öğretmen Okulu ve Enstitüsü).

Kız enstitüleri ve Akşam Kız Sanat okullarının öğretmen ihtiyacını karşılamak için 1934-1935'te Kız Teknik Yüksek Öğretmen Okulu açıldı. Başlangıçta iki yıllık olan okulun öğretim süresi 1947-1948'de dört yıla çıkarıldı. 1962'de Kız Sanat ve Teknik Yüksek Öğretmen Okulu adını aldı. 1937-1938'de Erkek Meslek Öğretmen Okulu açıldı. Ankara Erkek Sanat Okulu binasında eğitim veren okul, üç yıl süreli idi. Okul 1948-1949'da Erkek Teknik Yüksek Öğretmen Okulu adını aldı.

Sekreterlik Öğretmeni Yetiştirme Merkezi'nin 16 Ocak 1956 tarihinde açılmasıyla Ticaret Turizm Yüksek Öğretmen Okulu'nun temeli atıldı. Bu merkez 1956'da üç yıl süreli Ticaret Öğretmen Okulu'na dönüştü. 1959'da Ticaret Yüksek Öğretmen Okulu adını alan okul, 1965'te dört yıl eğitim süresi olan Ticaret ve Turizm Yüksek Öğretmen Okulu haline geldi (bk. Ticaret Turizm Yüksek Öğretmen Okulu).

1959'da Maarif Vekâleti'ne bağlı olarak yüksek eğitim öğretim ve araştırma yaparak, iktisadî, ticarî ve malî konularda kamu kurumlarında istihdam edilmek üzere eleman yetiştirmek, ekonomi politikalarını yönlendirecek araştırmalar yapmak amacıyla İktisadi ve Ticari İlimler akademileri açılmıştır. 15 Haziran 1959 tarihinde yürürlüğe giren kanunla, yüksekokul statüsünde faaliyet gösteren Yüksek İktisat ve Ticaret okulları, İktisadi ve Ticari İlimler akademileri adıyla yükseköğretim kurumları haline getirilmiştir. Ankara İktisadi ve Ticari İlimler Akademisi bünyesinde ekonomi, işletme, maliye ve yönetim bilimleri başta olmak üzere çeşitli kürsüler vardı. 25 Ekim 1960 tarihinde İstatistik Enstitüsü, 1970'te Ankara İktisadi ve Ticari İlimler Akademisi Sosyal Politika ve Sosyal Hukuk Enstitüsü kuruldu. Ayrıca Malî Bilimler ve Muhasebe Yüksekokulu ile Bankacılık ve Sigortacılık Yüksekokulu akademiye bağlandı. Yüksekokul statüsündeki Güzel Sanatlar Yüksekokulu, Güzel Sanatlar Akademisi'ne dönüştürüldü. 3 Haziran 1969 tarihinde Devlet Mimarlık ve Mühendislik Akademisi açıldı.

1961 anayasası ve 1966 Özel Eğitim Kurumları Kanunu gereğince Millî Eğitim Bakanlığı izniyle özel okulların açılmasına imkân verilmiştir. Bu çerçevede Ankara'da 1966 yılında Zafer Mühendislik ve Mimarlık Özel Yüksekokulu, 1967'de Yükseliş Mühendislik ve Mimarlık Özel Yüksekokulu, 1968'de Anadolu Kimya Mühendisliği Özel Yüksekokulu, 1968-1969'da Diş Hekimliği Yüksekokulu ile Anadolu Eczacılık Özel Yüksekokulu açıldı. 1971'de Anayasa Mahkemesi'nin özel yüksekokullarla ilgili hükmü iptal etmesi üzerine, bu yüksekokullar akademilere ve üniversitelere devredilerek hepsi Ankara İktisadi ve Ticari İlimler Akademisi'ne bağlandı. 2 Ekim 1979 tarihinde Ankara İktisadi ve Ticari İlimler Akademisi Tıp Fakültesi kuruldu.

22 Haziran 1982'de çıkarılan Yükseköğretim Kurumları Teşkilatı Hakkında Kanun Hükmünde Kararname ile Gazi Üniversitesi'nin kurulmasını kararlaştırıldı. Bu kararname ile adı geçen akademi, yüksekokul ve enstitüler Gazi Üniversitesi çatısı altında birleştirildi. Söz konusu kararname, 20 Temmuz 1982 tarihinde Resmî Gazete'de yayımlanarak yürürlüğe girdi. Kurucu rektör Şakir Akça'dır.

Gazi Üniversitesi kurulduktan sonra birkaç defa bölündü. Üniversiteye bağlı Bolu, Kastamonu, Kırşehir ve Çorum illerinde açılan fakülte ve yüksekokullar 1992'de Bolu'da, 2006'da Kırşehir'de, Kastamonu'da ve Çorum'da yeni üniversitelerin kurulmasıyla sonuçlandı. Gazi Üniversitesi 2018'de bir defa daha bölündü, bazı fakülte ve yüksekokullar yeni kurulan Ankara Hacı Bayram Veli Üniversitesi'ne bağlandı.

Gazi Üniversitesi 2022 yılı itibariyle on bir fakülte, beş enstitü, bir yüksekokul ve üç meslek yüksekokulunu bünyesinde barındırmaktadır. Üniversite bünyesinde farklı disiplinlerde hizmet veren otuz dokuz araştırma merkezi vardır. 2021-2022 öğretim yılı verilerine göre 4000'in üzerinde akademik, 5500 civarında idarî personelin görev yaptığı üniversitede 3507 ön lisans, 26.400 lisans, 6030 yüksek lisans ve 3667 doktora olmak üzere 39.604 öğrenci bulunmaktadır.