Malatya'nın İmrun (İmirin, İmrin) köyünde doğdu. Asıl adı Osman'dır. Nuri mahlasını rüştiyedeki hocası Osman Nûri Efendi verdi. Numûne-yi Mekteb-i Osmânî ve Mahmûdiye rüştiyelerine devam etti. Daha sonra girdiği Darüşşafaka'yı 1901 yılında bitirdi ve İstanbul Şehremaneti'nde memuriyete başladı. Ardından 1904'te kaydolduğu İstanbul Dârülfünunu Edebiyat Şubesi'nden 1907'de mezun oldu. Şehbenderzâde Filibeli Ahmed Hilmi, Babanzade Ahmed Naim, Muallim Cevdet (İnançalp), Elmalılı Muhammed Hamdi (Yazır), İsmail Fenni (Ertuğrul), Mehmet Akif (Ersoy), İsmail Hakkı (İzmirli), Mehmet Şerefettin (Yaltkaya) gibi tanınmış kişilerin sohbetlerini takip etmeye çalıştı. Ayrıca bazı cami ve ilim ortamlarına devam ederek klasik İslamî ilimler tedris etti, ancak icazet almadı. Özellikle devrin tanınmış ilim ve irfan şahsiyeti Abdülaziz Mecdi Tolun ile tanışması Osman Nuri Ergin'in hayatındaki en önemli dönüm noktalarından biri oldu. Tasavvufa yönelerek bu alanda da çalışmalar yaptı; İstanbul kütüphanelerinde bulunan tasavvufa dair eserleri tespit etti.

II. Meşrutiyet sonrasında Müessesât-ı Hayriye-yi Sıhhiye İdaresi (Sağlık Bakanlığı'nda idarî birim) umumi kâtibi oldu. İstanbul Şehremaneti'nin çeşitli dairelerinde müdürlük de dahil görevlerde bulundu. İstanbul Şehremaneti Arşivi'ni kurdu. 1927'de ilk nüfus sayımı kararı sonrasında İstanbul sokaklarını isimlendirmekle vazifelendirildi; pek çok sokağa Türk büyüklerinin adlarını vererek haritalı bir rehber hazırladı. Bu haritalar daha sonra İstanbul Şehri Rehberi (1934) adıyla neşredildi. 1928 yılında İstanbul Şehremâneti Mecmuası'nı hazırlayıp yayımlamaya başladı. En son İstanbul vilayet mektupçuluğu vazifesinde iken 1946 yılında emekliye ayrıldı.

Osman Nuri Ergin, aynı zamanda 1956 yılına kadar Darüşşafaka ve Vefa Lisesi'nde tarih, Amerikan Kız Koleji'nde ticaret ve dil derslerini, Belediye Zabıta Mektebi ve Polis Meslek Mektebi'nde meslek dersleri ile halka yönelik gece mekteplerinde Türkçe, edebiyat, tarih, felsefe ve içtimaiyat (sosyoloji) gibi dersleri okuttu. 1961'de Fatih semtindeki evinde vefatına kadar çalışmaya devam eden Ergin'in İstanbul'a kazandırdığı en önemli eserlerinden biri de 1939 yılında Belediye Müzesi ve Kütüphanesi olarak açılan ve günümüzde Taksim'de Atatürk Kitaplığı adı altında hizmete devam eden kütüphanedir. Ergin, 2000 civarı yazmalardan oluşan 11.000 cildi aşan kitaplarını bu kütüphaneye bağışladı.

Belediye ve şehircilik tarihi, vakıflar, eğitim ve okullar tarihi gibi başlıklar altında değerlendirilebilecek onlarca eser yazıp hazırladı. Osman Nuri Ergin, Türk kültür tarihinin en vukuflu ve velut yazarlarındandır. Medeniyet, kültür, belediye ve bayındırlık tarihine dair en önemli eseri Mecelle-yi Umûr-ı Belediye adlı muhallet çalışmasıdır. Eserleri sanat, siyaset, iktisat, müesseseler, din ve medeniyet tarihi hakkında insanlık mirasını yer yer mukayeseli olarak değerlendiren bir külliyattır. Devlet memuru konumunun verdiği imkânı da değerlendirerek pek çok evraka ve belgeye de ulaşmış, konuyla ilgili Doğu ve Batı'daki temel kaynakların yanında ayrıca şahsî tecrübelerini değerlendirmek suretiyle binlerce sayfayı aşan bir bilgi ve belge hazinesi ortaya çıkarmıştır. Bu şartlar içerisinde vücut bulan metinler Osman Nuri Ergin'in yetiştiği ilim ve kültür geleneği çerçevesinde yer yer ayrıntı sayılabilecek uzun bölümler ihtiva eden, bazan maksat dışında başka konulara geçip bilgi birikimini yansıtırcasına uzun açıklamalara giren, zaman zaman müellifin dinî, idarî ve siyasî görüşlerini satır aralarına serpiştirdiği kırkambar türü bir çalışma özelliği taşımaktadır.

Bunlar arasında şüphesiz vakıflarla ve maarifle ilgili olanlar da önemli bir yer tutmaktadır. Osman Nuri Ergin vakıf kurumunu bir medeniyet alâmet-i fârikası olarak değerlendirerek konu ile ilgili çalışmalarını daha çok bu çerçevede ele almıştır. Ona göre müslüman şehirlerinde vakıfların sağladığı en önemli katkı belediyecilik faaliyetidir ve vakıf müessesesi Türkler'de olduğu kadar cihanın hiçbir yerinde bu kadar şümullü değildir. Bu alandaki temel eserleri Türk İmar Tarihinde Vakıflar, Belediyeler, Patrikhaneler (İstanbul 1944); Fatih İmareti Vakfiyesi (İstanbul 1945) başlıklarını taşımaktadır.

Maarife dair eserleri arasında ise hiç şüphesiz Türkiye Maarif Tarihi (I-V, İstanbul 1939-1943) hâlâ önemini kaybetmemiştir ve daha sonra yapılan bütün çalışmalarda temel kaynak olarak kullanılmaya devam edilmektedir (bk. Türkiye Maarif Tarihi). Maarif Vekâleti Müsteşarı Hıfzırrahman Raşit Öymen'in teklifi ile 1933'ten sonra derli-toplu hale getirilen eser, Türk eğitim tarihini büyük ölçüde Tanzimat sonrasından ele alarak ayrıntılarıyla anlatmaktadır. Maarifle ilgili diğer eserlerinin başlıcaları ise şunlardır: Kolay Elifbâ (İstanbul 1326); Müessesât-ı Hayriye-yi Sıhhiye Müdüriyeti (İstanbul 1327); Dârüşşafaka, Türkiye'de İlk Halk Mektebi (İstanbul 1927, Mehmed İzzet, Mehmed Esad ve Ali Kâmi beylerle birlikte); İstanbul Tıb Mektepleri, Enstitüleri ve Cemiyetleri (İstanbul 1940).

Osman Nuri Ergin'in çeşitli eserlerine serpiştirilen bilgi ve değerlendirmeleri gerek tarih ve kültür birikiminin hakkıyla anlaşılmasında gerekse Türk şehir, belediye ve vakıflar tarihinin açıklığa kavuşturulmasında vazgeçilmez keyfiyettedir. Bu eserler aynı zamanda Osmanlı Devleti'nin çöküş devri ve Cumhuriyet'in kuruluş dönemini birlikte yaşamış geçiş, arayış dönemi aydınlarının iki dönemi telif gayretlerinde nasıl bir ruh hali taşıdıklarını gösterir. Öyle ki tenkit etmek durumunda kaldıkları hususlarda bile geçmişin itibarını da korumaya gayret ederek yeni dönemde var olabilme endişelerini yansıtmışlardır. Bu durum onun özellikle Türk eğitim tarihinde medreselerin, tekke ve zaviyelerin, diğer klasik eğitim kurumlarının konumunu değerlendirirken dönemin hassasiyetleri çerçevesinde takındığı tavırda ve binyıllık medrese kurumunu "Memlekete hiçbir faydası olmamıştır" diyerek hiçe indirmesinden de anlaşılmaktadır.