Kastamonu'nun Araç ilçesi Balcı köyünde doğdu. Babası Balcızâde Mustafa Ağa'dır. İlk tahsilini köy hocalarından aldıktan sonra, büyük kardeşi Molla Osman ile Kastamonu'ya giderek Namazgâh Medresesi'nde Âmâzâde Mehmed Emin Efendi'den tahsil gördü. Bu yıllarda sadrazamlıktan Kastamonu valiliğine atanan Abdurrahman Paşa'dan etkilendi ve bilgilerini zenginleştirdi.

Kastamonu'daki eğitimi sonrasında Ayancık kazasında bir sene (1886-1887) muallimlik yapıp İstanbul'a giderek Dârülmuallimîn-i Rüşdî şubesine girdi ve 1890 yılında pekiyi derecesiyle buradan mezun oldu ve aynı yıl Selanik Dârülmuallimîn-i İbtidâiyesi'ne öğretmen olarak atandı. Bu görevi yürüttüğü sırada Selanik Hamidiye Mektebi Sanayisi'nde coğrafya ve geometri öğretmenlikleri de yaptı. Ayrıca Maarif Nezareti'nce Selanik sınırlarında dört yıl maarif müfettişliği görevinde bulundu. Görevi sırasında 300'e yakın köy gezdi. Halkla iç içe geçen bu yıllarda köylerde eğitim faaliyetlerini denetledi ve yapılması gerekenleri yerinde gördü. Daha sonra Selanik Dârülmuallimîni müdürlüğüne getirildi. Bu görevi yürütürken Selanik Askerî Rüştiyesi'nde Farsça öğretmenliği ve Selanik Midhat Paşa Sanayi Okulu müdürlüğü görevlerinde de bulundu.

Memleketin sorunlarının çözümü ve ilerlemesi için yakın dostları askerî rüştiye müdürü Bursalı Tâhir, aynı okulun Fransızca öğretmeni Naki, edebiyat öğretmeni Hakkı Baha, posta memuru Talat (Paşa), şair ve hatip Ömer Nâci ile fikrî çalışmalar yaptı. Sonraki süreçte Mustafa Kemal, Ömer Nâci, Hakkı Baha ve Tâhir Bey'le birlikte görüşmeler yaptı ve Vatan ve Hürriyet Cemiyeti'nin Selanik Şubesinin kuruluşunda görev aldı. Daha sonra Osmanlı Hürriyet Cemiyeti, Vatan ve Hürriyet Cemiyeti'nin attığı temeller üzerine kurulmuştur. Vatan ve Hürriyet Cemiyeti ilerleyen yıllarda İttihat ve Terakkî Cemiyeti ile birleşmiştir. İsmâil Mâhir, Ankara, Konya ve Kastamonu'da İttihat ve Terakkî şubelerinin kurulmasında rol oynamıştır.

3 Kasım 1908 tarihinde ve sonrasında yapılan seçimlerde Kastamonu'dan mebus seçildi. 31 Mart ayaklanmasının bastırılmasında etkili oldu. Meclis-i Mebusan 5 Ağustos 1912 tarihinde dağıtılınca İsmâil Mâhir Efendi yeniden mebus olana kadar 1912-1914 yılları arasında İstanbul Dârülmuallimâtı müdürlüğü görevinde bulundu. Bu sırada Maarif Nezareti düzeyinde görüşmeler yürüterek okul öncesi eğitim konusunda çalışmalar yaptı. 1915 yılında İsmâil Mâhir Efendi'nin öncülüğünde Ana Mektepler Nizamnamesi yayımlandı ve mevzuat oluşturuldu.

Trablusgarp ve Balkan savaşları sonrası ana ve babasız, çok zor durumda kalmış çocukların yetiştirilmesi için çalışmalar yürütmüş, yakın dostlarından Talat Paşa başta olmak üzere devlet erkânının desteğini alarak dârüleytam mekteplerinin açılmasını sağlamıştır. Ardından başarılı çalışmaları sonucunda ilgili kurumun umum müdürü olmuş vefatına kadar İstanbul'da dokuz, taşrada altmış adet dârüleytam açmıştır.

İsmâil Mâhir Efendi eğitime dair çalışmalarında iş ve meslek eğitimine özellikle ağırlık verilmesini istemiştir. Köy okulu, köy öğretmeni yetiştirme, tarım eğitim öğretimi, kız eğitimi üzerinde durarak köylünün kalkındırılmasının çok önemli olduğunu her fırsatta dile getirmiştir. İsmâil Mâhir Efendi, meclisteyken de eğitimle ilgili çok takrir verdiği için arkadaşları tarafından kendisine "Ebü't-Takarîr" (takrirler babası) lakabı verilmiştir. Meclis konuşmalarında öğretmen yetiştirmeyi ana hedef olarak almış, asıl önemli olanın nitelikli öğretmen yetiştirmek olduğunu, bunun yolunun ise öğrencilerin alımından program içeriklerine ve yetiştirilmelerine kadar giden uzun bir süreç olduğunu vurgulamıştır. Bu fikirler ve konuşmalar Köy enstitülerinin temelini oluşturmuştur. Konuşmalarında hazırlıklı olması, sorunlara ayrıntılı ve sistemli çözümler getirmesi dikkat çekmiştir.

İsmâil Mâhir Efendi mesaisini insan üzerine yoğunlaştırarak maarife büyük hizmetlerde bulunmuştur. Gençleri okumaya teşvik etmiş, servetini ve zamanını bu yolda harcamıştır. Yazılı bir eseri bulunmamaktadır. 1916 yılında kalp krizinden vefat etmiştir. İlk başta Bebek'te bulunan dârüleytam binasının bahçesine defnedilmiş daha sonra mezarı, İstanbul'un işgali sırasında binanın eski sahiplerince tahrip edilebileceği endişesiyle Bebek Mezarlığı'na nakledilmiştir.