Sultan Abdülaziz'in 20 Eylül 1869 tarihli iradesiyle Maarif Nezareti'nin "taht-ı riyasetinde" kurulmuş, teşkilat yapısı, alt birimlerinin görev, yetki ve yükümlülükleri Maârif-i Umûmiye Nizâmnamesi ile belirlenmiştir. Faaliyetlerine 20 Şubat 1870 tarihinde Maarif Nezareti dairesi olarak kullanılan İstanbul Dârülfünunu binasında başlamıştır. Nizamnameye göre (130-142. maddeler) bu meclisin "Dâire-yi İlmiye" ve "Dâire-yi İdâre" olmak üzere iki temel yapıya ayrılması, üyelerinin senede iki defa toplantı tertip ederek Şûrâ-yı Devlet ve Dîvân-ı Ahkâm-ı Adliye'den birer kişi, ilmiye ve askeriyeden ikişer, gayrimüslim cemaatlerden de birer kişinin katılımıyla meseleleri görüşmesi planlanmıştır. Osmanlı tebaası sekiz kişiden müteşekkil olması istenen dâhilî üyelerin Türkçe'yi iyi kullanan Arapça, Yunanca ve Latince gibi dillere veya Batı dillerinden birine vakıf, "bir fende mahareti telif ve tercümeye kudreti olan" kimselerden seçilmesi düşünülmüş, hâricî üyelere ise sınırlama getirilmemiştir. Meclis üyeleri, ilim ve maarife dair yaptıkları inceleme, çalışma ve ihtarları Dâire-yi İlmiye'ye bildirmek ve üç ayda bir gerçekleştirilecek genel toplantılara katılmakla yükümlü görülmüştür.
Dâire-yi İlmiye'nin aslî vazifeleri nizamnamede; bütün mekteplere gereken kitap ve risaleleri vaktinde telif etmek veya Türkçe'ye tercüme etmek/ettirmek, telif ve tercüme için yeterince eleman bulunmuyorsa gazete vesair ilanlarıyla işin ehil ve erbabını bularak, bu da olmazsa cemiyetler kurarak eser tercüme ettirmek, Avrupa üniversiteleriyle haberleşme halinde olmak, lisân-ı Türkî'nin ilerlemesine çalışmak, telif ve tercüme edilen eserleri inceleyip onayladıktan sonra onların fayda ve başarılarına göre yazar ve mütercimlerine gereken mükâfatın derecesini belirlemek, mekteplerin "ruûs imtihanlarını" gerçekleştirerek atamalarını yapmak, eğitimini başarıyla tamamlayanlara şehadetname vermek, idâdîlerin mülazemet imtihanı cetvelini düzenleyip ilan etmek müfredatın değiştirilmesi veya yenilenmesinde görüş beyan etmek olarak belirlenmiştir.
Her ders yılı sonunda Dâire-yi İlmiye ile Meclis-i Maarif'in üç şubeye ayrılması düşünülmüştür. Bunlardan ilki, mülazemet imtihanını yapmak üzere Dâire-yi İlmiye ve Dârülfünun erkânından (veya Vilâyet Meclis-i Maarif azası) birer kişi ve birer müfettiş ile idâdî birinci sınıf muallimi olan iki kişiden oluşmuştur. İkincisi, mezuniyet imtihanını gerçekleştirmek maksadıyla Dâire-yi İlmiye ve Dârülfünun erkânından (veya Vilâyet Meclis-i Maârif azası) birer kişi ve birer muhakkik ile yüksek mekteplerin birinci sınıf muallimlerinden ikişer kişiden teşekkül etmiştir. Müntehîlik (son sınıf) imtihanını yapacak üçüncü şube ise Dâire-yi İlmiye ve Dârülfünun erkânından (veya Meclis-i Maârif müdürü) ve muhakkiklerin ileri gelenlerinden birer kişi ile "müntehîlik rüûsuna" sahip iki kişiden oluşmuştur (171. madde). Nizamnamede ayrıca Mekâtib-i Âliye nazırı ile müdürleri Dâire-yi İlmiye'nin doğal üyeleri sayılmış, toplantılara davet edildikçe katılmaya mecbur tutulmuşlardır. Nitekim Dâire-yi İlmiye 1869 yılında Tâhir Paşa'nın başkanlığında; iki Meclis-i Maârif üyesi, Mekteb-i Harbiye'den bir muallim, Maliye Dîvân-ı Muhâkemât üyesi, Takvîm-i Vekâyi'den bir muharrir, Tercüme Odası'ndan iki gayrimüslim memur ve Fransızca bilen bir gayrimüslim olmak üzere dokuz kişiden oluşturulmuştur.
Dâire-yi İdâre Heyeti'nin ise başkan, başkâtip, iki muavin, dört muhakkik ve altı üyeden oluşması; muavinlerden birinin, altı üyenin de ikisinin gayrimüslim olması planlanmıştır. Her gün toplanacak olan bu dairenin görev ve yetkileri, Osmanlı Devleti sınırları dahilindeki bütün mektep, maarif meclisi, kütüphane, müze ve matbaalara nezaret etmek; muallimlerin tayin işlerini halletmek, özel davalarda verilen hususi cezaların icrası için lazım gelenlerin sorgu ve muhakemesini yapmak, İstanbul ve ona bağlı yerlerin maarif bütçesini ve maarif nizamı layihalarını tanzim ederek Dâire-yi İlmiye'ye arzetmek; ilmî kurum ve kuruluşları düzene koyarak bunların sayılarını arttırma çarelerini müzakere etmek olarak belirlenmiştir. Bu dairenin emrinde olmak üzere yazışmaları yürütecek "tahrirat kalemi" ile İstanbul ve vilayetlerdeki maarif sandıklarının hesaplarına bakacak olan "muhasebe kalemi" tesis edilmiştir.
Her iki dairenin ayrı başkanları bulunmakla birlikte ortak meselelerde bir araya gelmiş ve "Meclis-i Maârif-i Umûmî Heyeti" adıyla toplantılar yapmışlardır. Toplantılara, ele alınan mesele hangi daireye aitse onun reisi başkanlık etmiştir. Ayrıca doğrudan Meclis-i Kebîr-i Maârif'e bağlı Me'mûrîn-i Teftîşiye adı altında iki memuriyet (Rumeli Mekâtib-i Rüştiye ve Sıbyaniye Müfettişliği; Anadolu Mekatib-i Rüştiye ve Sıbyaniye Müfettişliği) ihdas edilmiştir. Ayrıca merkez meclise bağlı olarak vilayetlerde maarif meclisleri oluşturularak taşradaki mektepler nezaretin yetkisi altına alınmıştır (bk. Maarif Meclisleri).
Münif Efendi başkanlığında kurulan Dâire-yi İdâre müslüman ve hıristiyan birer muavin; altısı müslüman, üçü hıristiyan, biri yahudi; biri Anadolu'daki ve biri Rumeli'deki rüştiye ve sıbyan mektepleri müfettişi, Dârülmuallimât müdürü ile Meclis-i Maârif'ten bir üyeden oluşmuştur.
18 Eylül 1871 tarihinde Münif Efendi'nin başkanlıktan azledilmesi üzerine iki daire lağvedilerek Meclis-i Kebîr-i Maârif tek yapılı bir meclis haline dönüştürülmüştür. 22 Ağustos 1908 tarihli padişah iradesiyle lüzumundan fazla memur ve üye ile doldurulmuş bulunan bütün merkez teşkilatları gibi Maarif Nezareti'nde de bir kısıtlamaya gidildiği süreçte Meclis-i Kebîr-i Maârif bir başkan ve beş üyeden oluşan daimî bir encümen haline getirilmiştir. O tarihte 1869 yılındaki yapıya dönülerek iki daireye ayrıldıysa da ertesi sene yayımlanan irade ile tekrar birleştirilmiş 1910'da bütün nezaret müfettişleri Meclis-i Kebîr-i Maârif'e bağlanmıştır.
1912'de hazırlanan bir nizamname ile Meclis-i Kebîr-i Maârif "dâimî" ve "senevî" olmak üzere iki kısma ayrılarak muallim ve müfettişlerden oluşan "Dâimî Meclis-i Maârif" teşekkül ettirilmiştir. Buranın altında oluşturulan dâire-yi âliye, dâire-yi tâliye ve dâire-yi ibtidâiye birimlerine daha evvel lağvedilmiş olan sicil, istatistik ve levazım daireleri ile tedrîsât-ı husûsiye idaresinin görevleri tevdi edilmiştir. Ayrıca "tedrîsât-ı ibtidâiye" ve "mebânî-yi tedrîsiye" encümenleri kurularak ilk mekteplerin işleri ile okul inşaatlarını yürütecek birer danışma organı vücuda getirilmiştir. Yabancı dildeki ders kitaplarını telif ve tercüme için de "Telif ve Tercüme Heyeti" oluşturulmuştur.
30 Temmuz 1914 tarihli Maârif-i Umûmiye Nezareti Teşkilatı Hakkında Nizamname ile Meclis-i Kebîr-i Maârif yeniden teşkilatlandırılarak yükümlü olduğu işler birer encümenin uhdesine verilmiştir. Bunun anlamı, meclisin âdeta ortadan kalkmasıydı. Çok geçmeden bundan geri adım atılarak kaldırılmış olan İhsâiyat Kalemi, Mimari Şubesi, Levazım Kalemi ve Hıfzıssıhha-yı Mekâtib daireleri kurulmuştur.
Mütareke döneminde kadrosu azaltılmış, Telif ve Tercüme Heyeti lağvedilmiştir. 1919 yılına gelindiğinde sadece nezaretin havale ettiği işleri inceleyerek görüş beyan eden bir yapıya dönüştürülmüştür. 1922 yılı sonlarında İstanbul'daki bütün nezaretlerin kaldırılması, Ankara'da yeni Maarif Vekâleti'nin teşkilatlandırılmasıyla Meclis-i Kebîr-i Maârif de sonlandırılmıştır (bk. Millî Eğitim Bakanlığı).
