Lüleburgaz'da doğdu. Babası tüccar Ali Efendi'dir. İlk ve orta öğrenimini Lüleburgaz'da yaptıktan sonra 1881'de Mekteb-i Mülkiye'yi bitirdi ve "mülazemet ruûsu ve ulûm-ı siyâsiye şehadetnamesi" aldı. İyi derecede Fransızca öğrendi. 1882'de Yanya, 1884'te Selanik, 1887'de Halep, 1891'den itibaren de Aydın vilayetlerinde Maarif müdürlüğü, müfettişliği ve muallimlik yaptı. Maarif müfettişliği görevini sürdürürken, başarılı çalışmalarıyla takdir gördü. Aydın'da bulunduğu sırada, üç arkadaşıyla birlikte 1893'te önce Paris'e oradan da İsviçre'ye firar etti, altı ay kadar yurt dışında kaldı. Bu kaçışın sebebi bazılarına göre, Avrupa'da özgür bir şekilde yayın yapma isteği, bazılarına göre ise Aydın Maarif müdürlüğü sırasında okul bütçesini kullanmadaki usulsüzlükler üzerine başlatılan soruşturmadır. Ancak kısa süre sonra yurda getirildi, yargılama neticesinde mahkûm oldu ve hapis yattı. Cenevre'de bulunduğu sırada Jön Türk basınının öncülerinden Hizmet gazetesinin çıkmasına destek verdi. 1898'de Maarif Meclisi azalığına atandı. 1901'de Dârülfünun kadrosuna dahil oldu ve bu görevi uzun süre devam etti. Bu arada gazetelerde ilmî, felsefî yazılar yazmaya başladı. En önemli ansiklopedi girişimlerinden biri olan Muhîtü'l-Maârif'i 1901'de çıkarmaya başladıysa da bu çalışmanın ancak tek cildi yayımlanabildi. Bu süreçte Meclis-i Maârif-i İlmiye Dairesi başkanlığı, Konya Hukuk Mektebi ve Galatasaray Mekteb-i Sultânî müdürlüğü gibi görevlerde de bulundu. Mehmet Akif ile yakın dost olan Emrullah Efendi, Tevfik Fikret'le benzer duygu ve fikirde olmamış ve onu birkaç defa görevden almıştır. 8 Ocak 1908 tarihinde, ileride Türk milliyetçiliğinin teşekkülünde önemli misyon üstlenecek olan Türk Derneği'nin kurucu ve idarecileri arasında yer aldı.

1909 yılında Kırklareli mebusu olarak Meclis-i Mebûsan azalığına seçilen Emrullah Efendi 10 Ocak 1910 tarihinde İbrâhim Hakkı Paşa hükümetinde Maarif nazırlığına getirildi. On ay bu makamda kaldıktan sonra hakkında verilen istizah takririnden (gensoru) sonra 18 Şubat 1911'de görevinden istifa etti. 1 Ocak 1912'de kurulan Küçük Mehmed Said Paşa kabinesinde ikinci defa Maarif nazırı oldu. 21 Şubat 1912 tarihinde kabinenin istifası üzerine Maarif nazırlığını ikinci defa bıraktı ve bu tarihten itibaren Dârülfünun'da dersler vermeye ve ilmî çalışmalar yapmaya devam etti. 11 Ağustos 1914 tarihinde Yeşilköy'deki evinde vefat etti. Fatih Camii haziresine defnedildi.

Emrullah Efendi, Tanzimat sonrasında ortaya çıkan değişik fikir hareketleri içinde "medeniyetçiler" diye bilinen ve günün siyasî icaplarına ayak uydurarak ölçülü bir düşünce tarzını benimseyen, Osmanlı birliğini korumak üzere Osmanlı-İslam geleneklerine sadık kalarak Batılılaşma'yı amaç edinen, bunu da ancak eğitim ve öğretim yoluyla başaracaklarına inanan bir kesimin önde gelenlerindendir. Görüş, düşünce ve uygulamalarıyla Türk eğitim tarihinin önde gelen simalarından biri olan Emrullah Efendi'nin gerek Maarif nazırlığından önce yayımladığı çalışmalar gerekse nazırlığı döneminde eğitim konusunda aldığı kararlar onun önemli bir eğitimci ve eğitim felsefecisi olmasını sağlamıştır. İlm-i terbiyeye dair müstakil kısa makaleleri olan Emrullah Efendi'nin reform taleplerine dair düşüncelerini en geniş halde Maârif-i Umûmiye Kanunu Layihası'nın Esbâb-ı Mûcibe Mazbatası ve Osmanlı İttihat ve Terakkî Cemiyeti'nin 1327 Senesi Dördüncü Kongresine Tanzim Olunan Siyasî Programa Dâir İzahnâme başlıklı metinlerinde bulmak mümkündür. Bu risalelerinde üzerinde durduğu temel mesele milleti kimin eğiteceğidir. Ona göre, eğitim öğretim meselesinin özü, eğitim işlerinde merkezde kimin yer alacağıdır. Emrullah Efendi'ye göre devrin şartlarının da zorlaması gereği eğitim öğretimin başında devlet bulunmak zorundadır. Bununla birlikte çocuğun eğitiminde önce ebeveyn, sonra cemaatler, ardından da devletin hakkı vardır. Bu üçü arasında dengeli bir dağıtım gereklidir.

Emrullah Efendi göreve geldiğinde ilk etapta Maarif Nazırlığı'nın işleyişine dair düzenlemelerde bulunarak nezaretin teşkilat bölümlerinde değişime gitmiştir. Ardından rüştiyelere, idâdîlere, dârülmuallimâtlara ve Dârülfünun'a yönelik yapılması gerekenleri önce basın organlarında daha sonra da mecliste anlatmıştır. Emrullah Efendi'ye göre maarif hayatının pek çok alanında ciddi reformların yapılması şarttır. II. Meşrutiyet'in ilk günlerinden itibaren gerekli reformun (küllî ıslah hareketi) ilköğretimden yukarıya doğru mu, yükseköğretimden aşağıya doğru mu olması gerektiği konusunda iki taraflı bir tartışma başlamıştır. Emrullah Efendi bu çerçevede "tûbâ ağacı nazariyesi" olarak da şöhret bulan meşhur teorisini ileri sürmüştür. "Tûbâ" cennette olduğuna inanılan kökleri gökte, dalları ve meyveleri yerde bir ağaçtır. Bu metafora göre zorluklara yukarıdan başlamak, alt kesimde daha kolay meyvenin alınmasını sağlar. Şu halde eğitim sisteminde yapılacak bir reforma yükseköğretimden başlanmalıdır. Dârülfünun'da program ve personel bakımından yapılacak bir iyileştirme, değişim ve dönüşüm, ortaöğretime yansıyacak, daha sonra da ilköğretime inerek eğitim sisteminde köklü bir terakkî/gelişme söz konusu olacaktır. Ona göre, yükseköğretimde kısa sürede nitelikli öğretmenlerin, eğiticilerin yetişmesi ve bunların sayısının artması geniş kitlelerin daha nitelikli eğitilmesi sonucunu doğuracaktır. Bu öngörü devrin birçok eğitimcisi tarafından desteklenirken bazıları tarafından da eleştirilmiştir. Ziya Gökalp, İsmayıl Hakkı Baltacıoğlu, Nâfi Atuf gibi düşünür ve eğitimciler Emrullah Efendi'nin görüşlerini destekler nitelikte yazılar yazmıştır. Emrullah Efendi için nazariyenin amacı; nitelikli bir ilköğretim için yükseköğrenimin kaliteli hale getirilmesidir. Başta dönemin İstanbul Dârülmuallimîni Müdürü Mustafa Sâtı Bey olmak üzere Ethem Nejat, Hüseyin Cahit gibi bazı aydınlar ise söz konunu teoriye karşı çıkmıştır. Onlara göre sağlıklı bir eğitim reformu tıpkı tabiatta her iyileşme ve gelişmenin kökten başlaması gibi ilköğretimden başlamalıdır. Bu konuda Mustafa Sâtı Bey uzun yazılar kaleme almış ve görüşlerini Avrupa'daki pedagojik ve felsefî tezlerle ve uygulamalarla desteklemeye çalışmıştır. Emrullah Efendi'nin tezine en çok destek veren Ziya Gökalp olmuştur.

"Kemâl-i millet kemâl-i marifetle kaimdir" diyen Emrullah Efendi ilköğretimin devletin görevi olduğunu, mecburi ve parasız olması gerektiğini ısrarla vurgulamıştır. Maarif ıslahına yükseköğretimden başlanmasını savunsa da ona göre maarifin temeli, mekâtib-i ibtidâiyedir. Onun için ibtidâî mekteplerin çoğalmasına, ders kitaplarının yenilenmesine önem vermiştir. Ders programlarında dinî ve ahlakî eğitim, terbiye-yi Osmânî, faydalı bilgiler, askerî talim içeriğinin olmasını sağlamıştır. Kendi ifadesine göre "başını ağrıtan" meselelerden biri de azınlık mektepleri olmuştur. Nezaret müfettişlerinin denetimine izin vermeyen, öğretmenlerinin evrak ve diplomalarını göstermek istemeyen Rum mektebi yöneticileriyle Emrullah Efendi arasında ciddi anlaşmazlıklar çıkmıştır. Patrikhane, Rum mekteplerinin şehadetnamesinin (diploma) kabul görmesini, mekteplerinde teftiş olmamasını, nezaretten gelen bütçeyi dilediği şekilde yönetmeyi istemiştir. Emrullah Efendi, bu isteklerin kapitülasyonlara benzediğini söyleyerek reddetmiştir. Mecliste bu konuda şiddetli tartışmalar yaşanmış, patrikhane ve sefarethaneler yoğun baskı uygulayarak onu yıpratma çabalarına girmiştir. Aleyhindeki faaliyetlere aldırış etmeyerek çalışmalarına devam eden Emrullah Efendi, ortaöğretimin seviyesini yükseltmek ve gayrimüslim öğrencilerin de Türk okullarında okumasını teşvik için vilayet idâdîlerinden on tanesini sultânî haline getirmiştir. Amacı yükseköğretime öğrenci yetiştirmek olan sultânîler pek çok tartışmayı da beraberinde getirmiştir. Öğretmenlerine daha fazla maaş verilmesi, ders programlarının içeriği, sultânî mezunlarının diğer idâdî mezunlarıyla aynı haklara sahip olması gibi hususlar Emrullah Efendi'yi tenkitlerin hedefi yapmıştır. Bütün bu karışıklıklara ve çıkan sorunlara çözüm olarak 1913'te bütün idâdîler sultânîye çevrilmiştir.

Emrullah Efendi'nin nazırlığı döneminde en fazla üzerinde durduğu konulardan biri öğretmenlerdir. Selanik'te Maarif müdürüyken çıkardığı öğretmenlere yönelik mecmuada, öğretmen kimliğinin ne şekilde olması gerektiğine dair tasvirler yapmıştır. Ona göre "Mektebin cüz'-i aslîsi muallimdir." Emrullah Efendi, "muallimliğin hususi bir meslek olduğunu" vurgulayarak gerekli eğitimi (pedagojik formasyon) almamış memurların öğretmenlik yapmamasını istemiş, bunun yanlışlığını dile getirmiştir. Önemli sorunlardan biri olan öğretmen açığını kapatmak için, ücra bölgelere gitmek istemeyen dârülmuallimât mezunu kız öğrencilerin istifade edeceği yatılı okul açma girişiminde bulunmuştur. Yalnızca öğretmenlik eğitimi almış kişilerden öğretmen ataması için dârülmuallimlerin ıslahına ve sayısının artmasına çalışmıştır. "Memur", "yıllıkçı" ve "seyyar öğretmen" uygulamalarının kalkmasına, öğretmen maaşlarının artmasına ve özlük haklarının iyileştirilmesine yönelik çalışmalar yapmıştır (bk. Seyyar Öğretmen). Köylerdeki öğretmenlerin pedagojik yetenek ve yetkinlikleri yanında ziraat da bilmeleri; çocuklar kadar halkı da eğitmeleri gerektiğini ifade etmiştir. Öğretmen maaşlarının yerel eşraf veya halk tarafından değil devletçe karşılamasını dile getirmiştir. Böylece öğretmenler düzenli olarak maaşlarını alabilecek ve başkalarının etkisi altına girmeyecektir. Emrullah Efendi'nin ilkokul öğretmenlerinin maaşlarına dair bu öngörü ve talepleri ancak 1948'de gerçekleşebilmiştir.

Nazır olduğunda ilk hayata geçirdiği düşüncelerinden biri Kandilli Rasathanesi'nin yeniden tesisi olmuştur. Medrese mezunlarının Darülfünun'da okumak istemeleri üzerine ihtiyat sınıfları açılmıştır. Fizikî şartları elverişsiz olan mektep binaları yenilenmeye çalışılmış, okullar daha ciddi teftiş edilmiştir. Onun zamanında Dişçilik Fakültesi kurulmuş, Dârülfünun'un laboratuvar, kütüphane vb. imkânları iyileştirilmiştir. Emrullah Efendi'nin eğitim sistemindeki fizikî şartlar üzerine yaptığı yenilikler ve harcamalar eleştirileri beraberinde getirmiş ve meclisin bütçe görüşmeleri sırasında usulsüzlük yaptığı ve keyfî davrandığı gerekçesiyle hakkında gensoru verilmiştir. Aynı zamanda, icraatları bakımından hayalperest olduğu, vaatlerinde durmadığı, liyakate önem vermediği, yeni okulların açılmasında gerekli alt yapı hizmetlerinin sağlanmadığı vb. hususlarda suçlanmıştır. Tevfik Fikret'in Mekteb-i Sultânî müdürlüğünden alınıp yerine Sâlih Zeki Bey'in atanması da tepki çeken kararlarından biridir. Basında bu konuyla ilgili nezaretin ve nazırın uygulamalarını eleştiren çok sayıda yazı ve karikatür yayımlanmıştır. Emrullah Efendi, kendisine yöneltilen tenkitlere basın yoluyla 30 Aralık 1910 tarihinde cevap vermiştir. 3 Ocak 1911'de mecliste hakkında istizah verilmesi üzerine, yeterli oyu aldığı halde istifa etmiştir.

Emrullah Efendi, 31 Aralık 1911 tarihinde yeniden Maarif nazırı olduğunda yarım ve âtıl kalmış projelerini tamamlamak istemiştir. Öncelikle maarifteki teftiş mekanizmasını daha aktif hale getirmeye çalışmıştır. Ancak meclisteki bazı mebuslar, mektep olmayan yere müfettiş göndermenin müsriflik olduğunu söyleyerek onu eleştirmişlerdir. Daha önce meclisten geçiremediği Tedrîsât-ı İbtidâiye Layihası'nı bazı düzenlemeler yaparak tekrar meclise sunmuş, ancak azınlık cemaatlerinin basına yansıyan demeçleri neticesinde istediğini tam sağlayamamış, layihayı geri çekmiştir. Bir nizamname hazırlayıp yapısını yeniden düzenleyerek Dârülfünun'da köklü değişimlere imza atmıştır. Nizamnamede ilk defa "şube" yerine "fakülte" ifadesi kullanılmıştır. Dârülfünun Ulûm-ı Tıbbiye, Fünûn, Ulûm-ı Riyâziye, Ulûm-ı Tabîiye, Ulûm-ı Edebiye (Felsefe, Tarih, Coğrafya, Edebiyat, Elsine, Ulûm-ı İçtimâiye) şubelerinden oluşmuştur.

Emrullah Efendi'nin ikinci nazırlığı ülkenin içinde yer aldığı askerî, siyasî ve ekonomik bunalımlar yüzünden hayli sıkıntılı geçmiştir. O dönemde Balkan savaşları, muhacirlerin iskânı, Arnavutluk isyanı, Karadağ, Bulgaristan, Yemen ve Girit'e dair meseleler Osmanlı Devleti'nin uğraştığı mühim problemlerdir. Kamuoyunda İttihat Terakkî Cemiyeti'ne karşı muhalefet giderek yükseldiğinden hazırladığı Dârülfünun Nizamnamesi'ndeki disiplin kuralları sebebiyle muhalifleri baskı altına almaya çalışmakla itham edilmiştir. Bu şartlar altında İkinci Maarif nazırlığı görevinde yedi ay kadar kalmış ve Said Paşa hükümetinin 21 Temmuz 1912 tarihinde istifasıyla görevi sona ermiştir. Siyasî görevinden sonra Dârülfünun'da hikmet-i nazariye (teorik felsefe), târîh-i ilm-i hikmet (felsefe tarihi), ilm-i ahlak, usûl-i tedris ve terbiye, ilm-i ahvâl-i nefs (psikoloji) derslerini vermeye devam etmiştir.

Emrullah Efendi, Maarif Nezareti'ndeki fiilî hizmetleri yanında özellikle ilk kapsamlı ansiklopedi girişiminde bulunması ve burada Osmanlı dünyasına özgü bir felsefî dil kurmaya çalışmasıyla dikkat çekmiştir. 1902'de çıkardığı bir ciltlik Muhîtü'l-Maârif oldukça özgün bir girişimdir. Bu teşebbüsü devam ettirmek için Veliaht Yûsuf İzzeddin Efendi'nin himayesinde 1910 yılında Muhîtü'l-Maârif Cemiyeti'ni kurmuş ve burada devrin önde gelen muharrir ve mütefekkirlerini (132 kişi) toplayarak derneğin neşriyatı Yeni Muhîtü'l-Maârif'i yayımlamaya başlamıştır (bk. Muhîtü'l-Maârif). Onun Batı dünyasındaki ilmî ve felsefî literatürü Türkçeleştirmek konusundaki öncü girişimleri yaşadığı dönemde taktir edilmişse de ilerleyen zamanda üzerinde fazla durulmamıştır. 1914'te çok önemli bir felsefe-bilim ve sanat terimleri sözlüğü yayımlamış olan Istılâhât-ı İlmiye Encümeni'nin de fikir babası Emrullah Efendi'dir. Ayrıca ilm-i terbiye konusunda da ilk nazarî metinleri yazması bakımından özel bir yere sahiptir. Felsefede olduğu gibi terbiyede de özgün bir ıstılah (terminoloji) oluşturma girişiminde bulunmuştur. Tûbâ ağacı metaforu en çok bilinen ve tartışılan görüşü olmuştur. Emrullah Efendi Mehmet Akif, Babanzâde Ahmed Naim, Bursalı Mehmed Tâhir, Halid Ziya, Sâlih Zeki, Ziya Gökalp, Refik Halit, Ali Kemal, Yusuf Akçura gibi II. Meşruiyet döneminin önde gelen münevverleri ile sıkı dostluklar kurmuş, birlikte dergiler çıkarmış, aynı derneklerde ilmî, fikrî ve siyasî faaliyetlerde bulunmuştur. Pek çok düşünce tarihçisine göre Ziya Gökalp'in fikrî öncülerinden, akıl hocalarından biri Emrullah Efendi'dir. Bunun yanında 1912'ye kadar İttihat ve Terakkî Cemiyeti'ne her bakımdan aktif destek vermiş, cemiyetin dördüncü kongre programını kaleme almıştır. Bu sebeple döneminde "İttihatçı, Türkçü, dilci ve felsefeci" kimlikleriyle bilinmiştir. Emrullah Efendi, teorik çalışmaları yanında nazırlığı zamanında idâdîlere felsefe ve jimnastik dersleri koydurmuştur. Ayrıca müfredata yabancı dil dersleri eklemiş, Dârülfünun programında da hayli önemli değişiklikler yapmıştır.

Emrullah Efendi'nin, Muhîtü'l-Maârif, İzahnâme, İlm-i Ahlâk, İlm-i Hikmet-Felsefe ve İlm-i Rûh başlıklı eserleri yanında basılmış ve basılmamış bazı ders notları da vardır. Ayrıca İkdam, Sırât-ı Müstakîm, Tanin, Hak, Yeni Muhîtü'l-Maârif, Mir'ât-ı Maârif, Mülkiye, Ümmet, Mecelle-i Muallimîn ve Bilgi Mecmuası gibi gazete ve dergilerde yayımlanmış çok sayıda makalesi bulunmaktadır. Emrullah Efendi kalemindeki kuvvet ve felsefî derinlikten mütevellit dalgınlık, nüktedanlık ve dostluklarıyla da meşhur olmuş ve "fâzıl-ı muhterem" diye anılmış bir münevverdir. Hakkında başta Maarif Nazırlığı dönemindeki faaliyetleri, ilm-i terbiye ve ıslahata dair önerileri, ilm-i ahlak yazıları ve felsefe ve bilim terimlerine katkıları üzerine farklı düzeylerde çalışmalar yapılmış, bunlardan bazıları kitaplaşmıştır. Buna karşın, Emrullah Efendi'nin hayatı, eğitimi, felsefî, ilmî ve terbiyevî görüşleri, uygulamaları ile siyasî faaliyetlerini derinlikli bir şekilde inceleyen müstakil bir çalışma henüz yayımlanamamıştır denilebilir.