Bergama'nın Balaban köyünde doğdu, ilk ve orta öğrenimini Bergama'da tamamladıktan sonra 1907'de girdiği İstanbul Dârülmuallimîn-i Âliyesî'nden 1910 yılında mezun oldu. Aynı yıl Üsküp Dârülmuallimîn-i Rüştiyesi'ne pedagoji öğretmeni olarak atandı. Kısa süre sonra Adana Dârülmuallimîn-i İbtidâiyesi'ni kurmakla görevlendirildi. Eğitim için Maarif Nezâreti tarafından İsviçre'ye Jean Jacques Rousseau Enstitüsü'ne gönderildi (1913). Burada felsefe, pedagoji ve psikoloji öğrenimi gördü, iki yıl süreyle Claparède'nin asistanlığını yapmıştır.
Eğitimini tamamlayıp Türkiye'ye dönünce ilk görev yeri İstanbul Dârülmuallimîn-i Âliyesi oldu. 1921'de İzmir Kız Lisesi'ne öğretmen olarak tayin edildi. 1923'te Telif ve Tercüme Encümeni'nde görevlendirildi. Ziya Gökalp'in başkanlığını yürüttüğü heyette önceleri üye olarak çalıştı, onun milletvekili olması üzerine 1924'te başkan oldu. Telif ve Tercüme Encümeni başkanlığı sonrası kısa süreliğine Ankara Kız Lisesi'nde görev aldı, ardından İzmir Erkek Lisesi felsefe ve sosyoloji öğretmenliğine tayin edildi. 1935-1949 yılları arasında İzmir Kız Öğretmen Okulu müdürlüğünü yaptı. Son görev yeri olan İzmir Atatürk Lisesi'nde felsefe öğretmeni olarak emekli olduğu 13 Temmuz 1953'e kadar çalıştı. Emekli olduktan beş gün sonra 18 Temmuz 1953'te vefat etti.
İstanbul Yüksek Öğretmen Okulu'nda öğrenim gördüğü yıllar Osmanlı Devleti'nin yarım yüzyıldan fazla süren Tanzimat eğitimi anlayışından sonra ülke ihtiyaçlarına uygun ulusal eğitim arayışına geçildiği bir döneme rastlamaktadır.
Okulda ders veren ve "Bu devlet nasıl kurtarılabilir?" sorusunu değişik düşünce akımlarının yaklaşımlarıyla cevaplamaya çalışan Ali Nusret, Sâtı Bey, Hamdullah Suphi, Fazıl Ahmet, Ruşen Tevfik Fikret, Eşref, Muallim Cevdet, Mustafa Suphi, Ahmet Cevat, İsmail Hakkı gibi öğretmenler onun ilk rehberleri olmuştur.
Türkiye'nin önemli meselelerini ele alıp tartıştığını düşündüğü Ziya Gökalp'e büyük sempati besler ve eğitimin ulusal bir nitelik taşıdığını ön koşul olarak kabul eder. Onun önerdiği gibi okullarda felsefe ve sosyoloji derslerinin okutulmasının yararına inanır, tıpkı onun gibi felsefe dersi ile senteze ulaşılabileceğini belirtir. Gökalp gibi, Batı'nın yeniliklerine açık olmanın gereğini belirtir, bağnazlıktan arındırılmış İslam'ın vazgeçilmez olduğunu söyler. Gökalp ile Telif ve Tercüme Heyeti'nde birlikte çalışır.
Jacques Rousseau Enstitüsü'nde Batı düşünce sistematiği ile tanışmıştır. Enstitü döneminin en önemli pedagoji enstitülerinden biridir. Öğrenim gördüğü bu enstitünün öğretim üyelerinden etkilenir, okulun adeta düsturu haline gelen yeni okul, aktif okul, aktif öğrenci söylemini gerek kitaplarında gerekse makalelerinde çok sık tekrar eder.
Mustafa Rahmi Balaban, çok yönlü bir eğitimcidir. Öğretmenlik görevinin yanı sıra, yaygın kitlelere ulaşabilmenin bir gereği olarak Anadolu, Bağ, Fikirler, Gayret, Hâkimiyet-i Milliye, Islahat, İkdam, Kültür, Müslüman Sesi, Türk Sözü, Yeni Asır, Yenigün, Yıldız gibi dergi ve gazetelerde yüzlerce yazı kaleme almıştır. Yazılarında Türk eğitim sisteminin amacının ne olması gerektiği sorusuna Avrupa ülkelerinin eğitim uygulamalarından örnekler vererek, tanınmış eğitimcilerin, düşünürlerin yeni yazılarını kamuoyu ile paylaşarak cevap vermeye çalışmıştır. Türkiye'de yeterince tanınmayan çağdaş düşünürleri ve düşüncelerini seri yazılar halinde gazete ve dergilerde tanıtmıştır.
Eserlerinde tanıtımını yaptığı düşünürler veya eğitimciler farklı dünya görüşlerine sahiptir. İlk eserleri genellikle çocuk psikolojisini tanıtmaya yönelik, çocuk eğitimi ve çocuk hikâyelerini ele alan çalışmalardır. Çalışmalarında batı ve doğu dünyasındaki düşünce ve uygarlık gelişimini ve bunların etkileşimini ele almıştır.
Telif ve Tercüme Encümeni üyeliğine getirildiği 1923 yılından başlayarak çağdaş eğitim sisteminin henüz söz konusu olmadığı ve yeterli öğretmenin bulunmadığı bir ortamda iyi yetişmiş bir eğitimci olarak Türkiye'nin eğitim sorunlarına çözüm oluşturabileceğini düşündüğü fikirler ortaya koymuştur. Modern pedagojinin ilke ve yöntemleri, halk eğitimi, eğitim sisteminin sorgulanıp yenilenmesi, öğretmen yetiştirilmesi, psikoloji, felsefe, ahlak, çocuk edebiyatı, Türk tarihi, din, köycülük, uygarlık ve kültür tarihi gibi alanlarda telif ve tercüme onlarca kitap, birçok gazete ve dergide yüzlerce makale yazmıştır.
1930'lara kadar geçen dönemdeki yayınlarının önemli bölümü, genel eğitim, eğitim psikolojisi ve çocuk eğitimi üzerinedir. Yeni kurulan devletin eğitim sisteminde nasıl bir yol izlemesi gerektiğine dair çok sayıda çalışması vardır. Yayınlanan kitaplarının yaklaşık yarısını bu dönemde kaleme almış çok sayıda çeviri yapmıştır.
1930'lardan başlayıp 1940'ların ilk yıllarına kadar geçen süreçte yayımlanan kitaplarında genel eğitim ve eğitim psikolojisi yanında felsefe ağırlıklı çalışmalar artış gösterir. Bu dönemde gazete ve dergilerde yayımlanan yazılarında ağırlıklı olarak Türk kültür devrimine destek oluşturucu yazılar çoğunluktadır. Aynı dönemde halk eğitimine yönelik yayımlarında da ciddi bir artış görülmektedir.
1940'ların ikinci yarısından başlayıp ölümüne kadar geçen süreçte ise, dinî ve ahlak içerikli eserleri ağırlıktadır. Kitaplarının yanı sıra bu evredeki yazılarının hemen tamamı Müslüman Sesi dergisinde yayımlanmıştır. Kur'an'ın tercümesine başlamış ancak bitirememiştir.
Balaban, Türk-İslam dünyasının bilimin temel oluşumundaki katkısına inanmakla birlikte, bilimin gelişip ilerlemesi sürecinde gerek Türk-İslam gerekse Doğu dünyasının seyirci kaldığını düşünmüştür. Ona göre, eğitim alanında bir hayli yol alan, çağdaş eğitim yöntemlerinin temelini atan Avrupa, Türkiye gibi ülkeler için örnek durumdadır. Avrupa eğitiminden yararlanmak hayatî bir önem taşır.
Dinî konular üzerinde dururken her şeyden önce halk kitlelerine dinin doğru bir şekilde anlatılması gereğine inanmıştır. Öğretmen adaylarına hazırladığı din dersleri kitapları felsefe, psikoloji ve sosyoloji ağırlıklı konulardan oluşmaktadır. Dini, manevi bir üstün güç olarak kabul etmiş, Türkiye'deki din görevlilerinin böyle bir anlayışa sahip olmamalarını tarihî bir ihmal olarak değerlendirmiştir.
Müspet değişimin mutlak gerekliliğine inanmıştır. Değişimin bilimsel ölçütlerde gelişmesini istemiş, bunun önünün açılabilmesi için devrime ihtiyaç duyulacağını vurgulamıştır. Ona göre, yüzyıl önceki dünya ile bugünün dünyası karşılaştırıldığında, değişimin yalnız fen bilimlerindeki gelişmelerle sınırlı kalmadığı aynı zamanda ahlak, inanç gibi manevi alanlarda da önemli değişikliklerin olduğu görülmektedir.
Yenileşme dinamiğinin eğitimden geçtiğini, eğitimde atılacak yenilikçi adımlarla yeni Türk devletinin kısa sürede başarıya ulaşabileceğini düşünmüştür. "Maarif Cephesine Nasıl Çıkacağız?" başlıklı yazısıyla yeni devletin eğitim ilkelerinin neler olması gerektiğini ortaya koymaya çalışmış, Gazi Paşa Hazretlerinin Maarif Umdesi ve Asrî Terbiye ve Maarif adıyla kitaplaştırdığı çalışmasında, sistematik olarak yeni devletin eğitim anlayışının nasıl olmasının lazım geldiğini ayrıntılarıyla ortaya koymuştur.
Üzerinde en çok durduğu ve yayın yaptığı konu yeni eğitim akımları ve uygulamalarının tanıtımı ve Türk eğitim sistemiyle buluşturulması olmuştur. Çoğunlukla bir kısmı öğretmeni olan dünyanın değişik ülkelerindeki farklı eğitimcilerin yazılarını Türkçe'ye çevirmiş oradaki görüşleri Türkiye'ye uyarlamak için önerilerde bulunmuştur.
Özel kitaplığında ve kütüphanelerde yapılan araştırmalar sonrası otuz yedisi telif, kırk yedisi tercüme olmak üzere yayımlanmış toplam seksen dört kitabına ulaşılmıştır. Bunlardan bazıları: Avrupa'da Yeni Mektepler, Çocuklar Cenneti, Küçük Felsefe Tarihi, Ruhiyata Medhal, Dört Bucakta Mektepçilik, İlk Mekteplerde Ruhî Tetkikler, Tarih Boyunca Ahlak, Çağdaş Medeniyetin Kökleri, Son Asrın İlim ve Fen Adamlarına Göre İlim-Ahlak-İman, Çocuk Ruhiyatı ve Tecrübi Pedagoji, Çocuk ve Mektep, Timur ve Tüzukatı, Moğol Tarihi, Kant'ın Pedagojisi, Fihte'nin Hitabeleri, Fonksiyonel Terbiye, Avrupa Medeniyetinin Ahlak Kökleri, Filozofi Vasıtasıyla Orta Tedrisatta Reform, Wilyam Ceymis'in Felsefesi olarak sayılabilir.
Ansiklopedik bilgi yayma ve halk yayını yapma anlayışına sahip yazarlardandır. Rahat ve anlaşılır bir dille çevirdiği ya da yazdığı eserleriyle bir kültür ve eğitim hizmeti yerine getirmiştir. Mütevazi görevlerde bulunmasına ve geri planda kalması sebebiyle Türk eğitim tarihinin yeterince tanınmamış öncü isimlerinden biri olduğu söylenebilir.
O, Batılı gibi olmayı pek çok yazısında ifade etmiş, bununla birlikte Osmanlı, İslam ve Türk kimliğinden vazgeçmemiştir. Batı'nın iyi ve teknik özelliklerinin alınmasından yana olmakla birlikte Doğu'nun güzel ve özgün değerlerinden taviz verilmemesini istemesiyle onun, sentezci bir kimliğe sahip olduğu söylenebilir.
