Palandöken dağının eteklerinde bulunan Erzurum, tarih boyunca önemli bir kavşak noktası olması sebebiyle stratejik bir değere sahip olmuştur. Arkeolojik çalışmalar şehrin tarihini yaklaşık olarak milattan önce 4000'li yıllara kadar götürebilmektedir. Bölge birçok medeniyetin uğrak noktası olmuş, bu kapsamda Urartular'dan İskitler'e, Persler'den Partlar'a, daha sonrasında Roma (Bizans), Araplar, Selçuklular, İlhanlılar, Safevîler, Osmanlılar gibi büyük ve önemli medeniyetlerin hakimiyetleri altında varlığını sürdürmüştür.

Tarih boyunca Karin, Garin, Kalai, Kalikala, Erzen gibi isimlerin bölgedeki yerleşim yeri için kullanıldığı tespit edilmiştir. Erzurum adının kökeni bölgedeki ilk yerleşim yeri adlarından biri olan Erzen'den gelmektedir. Pasinler Muharebesi (1048) sonrasında yörenin adını aynı isimli başka yerleşim bölgelerinden ayırmak üzere bu adın sonuna "Rum" eki ilave edilmek suretiyle "Erzeni'r-Rûm" ismi kullanıldı. Zamanla telaffuz değişimleri geçirerek bu isim "Erzurum" şekliyle yaygın kabul gördü.

Bölge, 640'lı yıllardan itibaren Doğu Roma ile müslümanlar arasında sık sık el değiştirmiştir. Erzurum'un Türkler tarafından ele geçirilmesi Malazgirt Muharebesi (1071) sonrasındaki süreçte yaşanan bir gelişmedir. Malazgirt galibiyeti sonrasında Sultan Alparslan, emrindeki Türkmen beylerini Anadolu'nun fethiyle görevlendirdi. Bu kapsamda komutanlarından İzzeddin Saltuk Bey de Erzurum ve civarına sefer düzenledi. Bölgeyi fetheden Emîr Saltuk, merkezi Erzurum olan Saltuklu Beyliği'ni kurdu. Böylelikle 1071'den 1202 yılına kadar Saltuklular'ın başşehri statüsünde bulunan şehirde Ulucami, Kale Camii, Tepsi Minare, Üç Kümbetler gibi eserlerle ciddi bir imar gelişimi yaşandı. Şehirde XI. yüzyıldan itibaren ilim, kültür ve eğitim hayatını güçlendiren eserler ve girişimler yapıldı. Kurulan birçok medrese şehrin ve bölgenin eğitim seviyesine önemli katkılar sağladı. Medreselerde verilen eğitimi desteklemek amacıyla kurulan kütüphaneler ve bu kütüphanelerde toplanan kitaplar şehrin geçirdiği istilalar esnasında kısmen zayi olsa da Osmanlı dönemine ulaşanlar çeşitli vakıf medreselere intikal ederek korunabilmiştir.

Erzurum'da XIII. yüzyıldan itibaren Çifte Minareli Medrese (Hatuniye Medresesi), Yakutiye Medresesi, Sultaniye Medresesi, Ahmediye Medresesi gibi en yüksek düzeyde eğitimlerin verildiği kurumların varlığı, astronomi, tıp, matematik, fen bilimleri, tasavvuf ve benzeri pek çok alanda öğrenci ve âlim yetişmesini sağladı.

XIII. yüzyılın ikinci yarısında yapılan ve mimari açıdan da türünün nadir örneklerinden biri olan Çifte Minareli Medrese, dönemin en büyük eğitim kurumu olması hasebiyle son derece ehemmiyetlidir. Benzer şekilde Alâeddin Keykubad tarafından yaptırılan fakat I. Dünya Savaşı sonrası yıkılan Sultaniye Medresesi zengin kütüphanesiyle dönemin ilim ve eğitim yaşamının simgelerindendir. XIV. yüzyılın başında İlhanlılar döneminde inşa edilen Yakutiye Medresesi ve irili ufaklı diğer medreselerin şehirde belirgin bir yoğunlukta bulunması Erzurum'un tarihî açıdan bir eğitim ve kültür merkezi olduğunu göstermektedir.

Gürcistan seferine çıkan Anadolu Selçuklu Sultanı Rükneddin II. Süleyman'ın Saltuklu Beyliği'nden talep ettiği destek gelmeyince Erzurum 1202 yılında Anadolu Selçukluları'nın hakimiyeti altına girdi. 1240'lı yıllar itibariyle Anadolu'daki Moğol istilaları Erzurum'da da etkili oldu, şehir tahribata uğradı. Sonrasındaki süreçte Erzurum 1256-1336 yılları arasında da İlhanlılar'ın hakimiyeti altında kaldı. Erzurum, 1514'te Yavuz Sultan Selim tarafından Osmanlı topraklarına dahil edilmesine kadar olan yaklaşık 200 sene boyunca oldukça istikrarsız ve zorlu bir süreç geçirdi. Söz konusu süreçte şehir, Akkoyunlular, Karakoyunlulur, Timurlular, Safevîler gibi dönemin önemli iktidarlarının güç mücadelesine sahne oldu ve büyük tahribatlar yaşadı.

Erzurum'un yeniden gelişmesi büyük ölçüde Kanûnî Sultan Süleyman'ın saltanat yıllarında söz konusu olmuştur. Bu dönemde özellikle İran seferleri esnasında Erzurum, Osmanlı ordularının önemli bir lojistik merkezi haline geldi, askerî ve ticarî anlamda serhat şehir konumunu pekiştirdi.

Erzurum Osmanlı döneminde yeni medreseler kurulmasıyla da ilim ve kültür merkezi olma vasfını devam ettirmiştir. Erzurum'da Osmanlı döneminde yapılan medreselerden günümüze sağlam bir şekilde ulaşabilmiş olanlar Kurşunlu (Fevziye) Medrese (1701), Pervizoğlu Medresesi (1716), Şeyhler Medresesi (1760) olarak sıralanabilir. Bununla birlikte salnameler ve vakıf kayıtlarına göre Erzurum'da Osmanlı dönemine ait otuz civarında medresenin varlığı da bilinmektedir. Bunlardan bazılarının yeri dahi belirsiz olup kimileri ise harap halde ya da tamamen yıkılmıştır. Söz konusu medreselerden isimleri kayıtlarda mevcut olanlar; Lala Paşa Medresesi, Çukur Medrese, Zeynel Medresesi, Köse Ömer Ağa Medresesi, Emin Kurbu Medresesi, Esad Paşa Medresesi, Yeğen Ağa Medresesi, Kabziye Medresesi, Salihiye Medresesi, Namervan Medresesi, Caferiye Medresesi, İbrahim Paşa Medresesi, Mahmudiye Medresesi, Mesudiye Medresesi, İkbaliye Medresesi, Hamidiye Medresesi, Şabaniye Medresesi, Hacı Halil Ağa Medresesi, Muid Efendi Medresesi, Muveffekiye Medresesi, Ayas Paşa Medresesi, Kacıroğlu Medresesi, Narmanlı Medresesi, İslahiye Medresesi, Muhammediye Medresesi, Hacı Hamza Medresesi, Hacı Ali Ağa Medresesi olarak sıralanabilir. Söz konusu medreseler çoğunlukla külliyelerin bir unsuru olarak inşa edilmiş olup aynı isimde olan bazı camilerden hareketle yerleri tahmin edilebilmektedir. Bu medreseler XVI. yüzyıldan XX. yüzyılın başına kadar faaliyet halinde olmuşlardır. Yine Osmanlı döneminde il merkezinin yanı sıra Erzurum'un bazı ilçelerinde de medreseler yapılmıştır. Bunlar içinde Oltu Arslan Paşa Medresesi (1644) ve İspir Kadıoğlu Medresesi (1726) halen ayaktadır. Bunların yanı sıra Pasinler ilçesinde şu an yerleri belli olmasa da kayıtlara adı geçen Yenicami, Kasım Bey, Ahmediye, Erzurum Kapısı, Kethüda ve Sivaslı medreseleri de Osmanlı dönemi medreseleri arasındadır.

Erzurum'da Saltuklu, Selçuklu, İlhanlı dönemlerinden kalma Çifte Minareli Medrese, Yakutiye Medresesi gibi şaheser nitelikteki örneklerin yanı sıra Osmanlı döneminde de onlarca medresenin yapılmış olması şehrin tarihsel anlamda eğitim ve ilim açısından önemini gösterir niteliktedir. Bu medreselerde dinî ilimler ve müspet ilimler bir arada okutulmuş olsa da Osmanlı dönemi medreselerinde dinî ilimlere ağırlık verildiği bilinmektedir. Medreselerde verilen bazı dersler; astronomi, tıp, tabii ilimler, riyaziye (matematik), hendese (mühendislik), lügat, belagat, nahiv, tarih, coğrafya (ulûm-ı cüz'iye), felsefe, mantık, kelam, tasavvuf, fıkıh, akait, hadis, tefsir gibi konuları kapsamaktadır. Medreselerin giderleri büyük ölçüde kendilerine tahsis edilen vakıflar aracılığı ile karşılanmıştır. Bu medreselerin faal olduğu dönemlerde çok sayıda öğrenci ve âlim yetiştiği bilinmektedir.

Şehirde Osmanlı devrinde birçok medresenin yanı sıra farklı eğitim kurumları da faaliyet halinde olmuştur. Mesela 1845'ten itibaren İstanbul ve Bursa gibi büyük merkezlerde kurulan askerî idâdîlerin bir örneği kısa bir süre sonra Erzurum'da açılmış, bu okulda orduya çok sayıda subay yetiştirilmiştir. Bunun yanı sıra şehirde 1909 yılında Polis Mektebi kuruldu, bu okul günümüze kadar gelen süreçte "Polis Okulu", "Polis Meslek Yüksekokulu" ve "Polis Meslek Eğitim Merkezi" adlarıyla verdiği eğitimler sonucu Emniyet teşkilatına on binlerce polis kazandırdı. Bu kurum günümüzde Emniyet Genel Müdürlüğü Polis Akademisi Başkanlığı bünyesinde "Erzurum Polis Meslek Eğitim Merkezi" olarak eğitime devam etmektedir.

XIX. yüzyıl itibariyle resmî olarak yayımlanmaya başlayan salnamelerde vilayetlerin idarî ve ekonomik gelişmelerinin yanı sıra kültürel ve eğitim hayatına dair de önemli istatistikler yer almıştır. Bu bağlamda Erzurum iline ait 1870 yılından 1900'e kadar olan dönemde yayımlanan on üç adet salnamede söz konusu dönemde şehirdeki eğitim faaliyetlerine dair önemli verilere ulaşılabilmektedir. Bu çerçevede Osmanlı döneminde Erzurum'da bölgesindeki diğer merkezlere nazaran daha fazla sayıda sıbyan mektebi (ilköğretim), rüştiye (ortaöğretim) gibi eğitim kurumunun varlığı bilinmektedir. Bu tür okullar içinde müslüman ahalinin çocuklarının devam ettiklerinin yanı sıra çoğunluğu Ermeniler'den oluşan gayrimüslim azınlıkların çocukları için kurulmuş olan okulların da bulunduğu dikkat çekmektedir. 1873 tarihli salnamede Erzurum'da Mekteb-i Sanâyi adlı lise düzeyinde meslekî ve teknik bir okulun da kurulduğu anlaşılmaktadır. Benzer şekilde 1874 tarihli salnamede de Mekteb-i İdâdî-yi Şâhâne adlı lisenin (idâdî) varlığı dikkat çekmektedir. 1877 tarihli salnamede yukarıda bahsi geçen askerî okulun adı da Mekteb-i İdâdî-yi Şâhâne-yi Askerî olarak geçmektedir. 1886 tarihli salnamede ilköğretim kurumu olarak artık "ibtidâi mektep" tabirinin kullanılmaya başlandığı görülmektedir. Aynı yıla ait kayıtlarda Erzurum'da Dârülmuallimîn adlı bir öğretmen okulunun varlığından da bahsedilmektedir. Yine söz konusu salnamede "Mekteb-i İdâdî-yi Şâhâne-yi Askeriye"ye ortaöğretim düzeyinde öğrenci hazırlayan "Mekteb-i Rüşdiye-yi Askeriye" okulunun da faaliyet halinde olduğu görülmektedir. 1892 tarihli salname kayıtlarında askerî okulların yanı sıra Mekteb-i Rüşdiye-yi Mülkiye ile bir üst derece eğitim kurumu olan Mekteb-i İdâdî-yi Mülkiye okullarından bahsedilmektedir. Erzurum Mülkî İdâdîsi'nin 1889 yılı itibariyle eğitim öğretim faaliyetine başladığı bilinmektedir. Bu okul 1922 yılından beri Erzurum Lisesi olarak varlığını devam ettirmektedir. Bütün bu verilerden hareketle Osmanlı'nın son dönemlerinde Erzurum'un farklı içerik ve düzeylerdeki eğitim kurumları açısından belirli bir gelişim gösterdiği ifade edilebilir. Bununla birlikte Ermeni, Rum gibi azınlıkların farklı ülkelerin de desteğini sağlayarak önemli eğitim kurumlarına sahip oldukları dikkat çekmektedir.

Erzurum, Cumhuriyet'in ilk yıllarında Doğu ve Güneydoğu Anadolu bölgeleri dikkate alındığında 139 okul sayısıyla okullaşma oranı açısından ilk sıralarda yer almıştır. Bunun yanında söz konusu dönemde aynı bölgede öğretmen okulu bulunan bir şehir olarak da öne çıkmaktadır. 1942 yılında Erzurum Ilıca'da kurulan Pulur Köy Enstitüsü, 1954 yılında Pulur İlköğretmen Okulu adıyla, 1958 yılından itibaren de Yavuz Selim İlköğretmen Okulu adıyla bölgenin ve ülkenin öğretmen ihtiyacının karşılanmasında önemli pay sahibi olmuştur. Okul, 1978 yılından itibaren Erzurum Aziziye Yavuz Selim Yatılı İlköğretim Bölge Okulu olarak eğitim faaliyetlerine devam etmiştir. Cumhuriyet'in ilk yıllarında bölgede kurulan bir diğer öğretmen okulu ise Kars'ın Susuz ilçesi yakınlarında kurulan Cilavuz Öğretmen Okulu'dur.

Cumhuriyet döneminde eğitim ve kültür hayatının en önemli unsurlarından biri de 1957 yılından beri Türkiye'nin önde gelen köklü yükseköğretim kurumlarından olan Erzurum Atatürk Üniversitesi'dir. Ayrıca 2010 yılında kurulan Erzurum Teknik Üniversitesi (ETÜ) şehrin eğitim ve kültür yaşamına önemli katkılar sunmaktadır (bk. Atatürk Üniversitesi).

Erzurum'da Millî Eğitim Bakanlığı bünyesinde faaliyet yürüten her düzeyde ve türde eğitim kurumu mevcuttur. Güncel verilere göre şehirde 1250 civarında okul, 12.000 civarında öğretmen, 175.000'e yakın öğrenci bulunmaktadır. Ayrıca halk eğitim merkezleri, rehberlik ve araştırma merkezleri, meslekî eğitim merkezi, öğretmenevi ve akşam sanat okulları mevcuttur. Hizmet içi eğitim merkezinde yerel ve ulusal eğitimler verilmektedir. Şehirde Gençlik ve Spor İl Müdürlüğü bünyesinde kurulan gençlik merkezleri ile Erzurum Büyükşehir Belediyesi bünyesinde faaliyet gösteren Erzurum Sanat ve Meslek Eğitimi Kursları (ESMEK) ve bilgi evleri aracılığı ile çocuklar ve gençler başta olmak üzere toplumun her kesimine çeşitli konularda kurslar ve eğitimler verilmektedir. Şehirde devlete ait okullardan ayrı olarak özel okullar ve eğitim merkezlerinde de hızlı bir gelişim görülmektedir.

Cumhuriyet öncesi ve sonrası dönemde şehrin ilim ve eğitim hayatını zenginleştiren çok sayıda kütüphane kurulmuş ve bunlar aracılığı ile şehrin kültür yaşamına önemli katkılar sağlanmıştır. 1621 yılında Erzurum müftülüğü yapan Habip Efendi adına 1737 yılında torunları tarafından kurulan kütüphanede 145 cilt kitap mevcut olduğu nakledilmektedir. 1748 yılında Erzurum'da mülkî idarede görev yapmış olan İbrâhim Paşa tarafından kendi adına kurulan kütüphanenin de büyük ve müstakil bir nitelikte olduğu bilinmektedir. Bu kütüphaneye kayıtlı olan eserler günümüzde Erzurum Yazma Eserler Kütüphanesi'nde muhafaza edilmektedir. 1834 yılında Cennetzâde Abdullah Efendi tarafından yaptırılan kütüphanede 450 cilt kitap bulunduğu kayıtlıdır. Bu kütüphaneye ait el yazması bir katalog günümüzde Gürcistan Bilimler Akademisi'ndedir. 1871 yılında yapılmış olan Hacı Mehmed Efendi Kütüphanesi'nde kayıtlara göre 273 cilt eser bulunduğu belirtilmiş, Halil Efendi ismiyle kurulmuş bir diğer kütüphanede ise 240 cilt eserin bulunduğu kaydedilmiştir. Bunların dışında 1845 yılında Muid Muhyeddin Efendi adına bir kütüphanenin ve buna bağlı bir vakfın bulunduğu, ayrıca 330 cilt eserin mevcut olduğu Hacı Dede Ağa Kütüphanesi de kayıtlara geçen kütüphaneler içerisindedir. Bu kütüphanelerden günümüze ulaşabilmiş olan eserlerin bir kısmı şehirde halen faaliyet halinde olan bazı kütüphanelerde, diğer bir kısmı da kütüphane sahiplerinin vârisleri tarafından ellerinde muhafaza edilmektedir.

Osmanlı döneminde 1900 tarihli Salnâme-i Maârif verilerine göre şehirde mevcut kütüphaneler; Şeyhler, Cennetzâde, İbrâhim Paşa, Zeynal, Fevziye, Ali Paşa, Dersane (Murad Paşa Camii yanında), Sultaniye, Gümrük Cami, Gürcü Mahmud Paşa, Muid Efendi, Yeğen Ağa isimleriyle kayıtlıdır. Bu kütüphaneler içerisinde bilinen en eski tarihli olanı Şeyhler mahallesinde bulunan Habip Efendi Kütüphanesi'dir. Cumhuriyet'in ilanı sonrasında 1924 tarihli Tevhîd-i Tedrisat Kanunu ile daha önceden Evkaf Nezareti'ne bağlı olan medreseler, diğer eğitim kurumları ve kütüphaneler Maarif Nezareti'ne bağlanmış, 1925 tarihli Tekke ve Zaviyeler ile Türbelerin Seddine ve Türbedarlar ile Bazı Unvanların Men ve İlgasına Dair Kanun'un yürürlüğe girmesinin ardından da buralarda bulunan kitaplar kütüphanelere devredilmiştir.

Erzurum İl Halk Kütüphanesi 1940 yılında kurulmuş olup 2020 yılından itibaren de yeni binasında Erzurum İsmail Saib Sencer İl Halk Kütüphanesi adıyla hizmet vermeye devam etmektedir. Bu kütüphane büyüklük ve zengin içerik açısından Türkiye'nin sayılı kütüphaneleri arasındadır. Burada bulunan ve tarihsel değeri bulunan pek çok yazma eser Türkiye Yazma Eserler Kurumu Başkanlığı bünyesinde hizmet veren ve 2011 yılında kurulmuş olan Erzurum Yazma Eser Kütüphanesi'ne devredilmiştir.

Erzurum'da faal durumda olan kütüphanelerin en önemlilerinden biri de Atatürk Üniversitesi Merkez Kütüphanesi'dir. Oldukça geniş bir koleksiyona sahip olan bu kütüphane gerek nadir eserler gerekse güncel yayınlarla öğrencilerin ve araştırmacıların beklentilerini karşılayabilir niteliktedir. Atatürk Üniversitesi Kütüphanesi Seyfettin Özege'nin Üniversiteye bağışladığı eski harfli Türkçe basma kitaplar koleksiyonu özellikle çok önemlidir.

Ayrıca Erzurum Yazma Eserler Kütüphanesi, Erzurum Teknik Üniversitesi Kütüphanesi, Erzurumlu Emrah Edebiyat Müze Kütüphanesi ile Erzurum Büyükşehir Belediyesi tarafından kurulan Habib Baba Kütüphanesi, İlhami Çiçek Kütüphanesi, Vedat Aydın Kütüphanesi, Esmek Gençlik Merkezi Kütüphanesi, Esmek Palandöken Kütüphanesi gibi pek çok kütüphane de faal haldedir. Kütüphaneler dışında Erzurum'da çeşitli ailelerin nesiller boyu aktarılan özel kitaplık ve eser koleksiyonculuğu geleneğinin varlığı da bilinmektedir. Bu yönüyle şehrin kültürel birikiminin ve zenginliğinin hatırı sayılır bir nitelikte olduğunu ifade etmek mümkündür.