İstanbul'da doğdu. Asıl adı Sâlih'tir. Dört yaşında annesini, altı yaşında da babasını kaybetti. On yaşındayken büyük annesi tarafından yetim ve öksüzlerin yetiştirildiği Darüşşafaka'ya kaydettirildi (bk. Darüşşafaka). Okuldaki başarısını ve özellikle matematik yeteneğini farkeden Darüşşafaka'nın hocalarından ve dönemin parlak matematikçilerinden Mehmed Nâdir (1856-1927), okuldan ayrılmak üzereyken sırf böyle bir öğrencisi olduğu için görevini bir yıl daha uzatmıştır. Darüşşafaka'nın ikinci mezunlarından olan Sâlih Zeki, 1882'de burayı birincilikle bitirmiş, Posta ve Telgraf Nezareti Fen Kalemi'ne memur atanmıştır.

Bu görevi sürecinde Fen müşaviri Emilé Lacoine'dan (1836-1899) matematik, astronomi ve fizik dersleri almıştır. 1883'te, Darüşşafaka'nın ilk mezunlarından üç kişi ve ikinci mezunlarından da Sâlih Zeki ihtisas için Paris'teki Yüksek Telgraf Mektebi'ne (École Supérieure de Télégraphie) gönderilmiştir. Burada ayrıca Ecole des Ponts et Chaussées (Yollar ve Köprüler Yüksek Okulu) ve Collége de France'a devam etmiştir. Paris'te bulunduğu dönemde, en zor matematik problemlerini çözebildiği için arkadaşları tarafından kendisine "Zeki" adı verilmiş, bundan sonra Sâlih Zeki olarak anılmıştır. 1887'de memlekete dönmüş, 1889'da Telgraf ve Posta Nezareti'nde müdür yardımcısı olan Emilé Lacoine'ın yardımcılığına atanmıştır. 1891'de Rasathâne-yi Âmire'de fahrî üye olmuştur.

Eğitim alanındaki faaliyetini iki kategori altında incelemek mümkündür. Biri eğitim kurumlarında yönetici ve hoca olarak yaptığı hizmetler ve okuttuğu derslerdir. Diğeri ise yazdığı ders kitaplarıdır.  

Mekteb-i Mülkiye başta olmak üzere Darüşşafaka, Mekteb-i Bahriye, Mühendishâne-yi Berrî-yi Hümâyun ve Dârülfünun gibi her dereceden okulda ders vermiştir. Fransa'dan döndükten bir süre sonra (1888) Darüşşafaka'da gönüllü olarak hesap, cebir, fizik ve Fransızca dersleri 1889-90 eğitim öğretim yılında da Mekteb-i Mülkiye'de fizik ve kimya derslerini vermeye başlamıştır. 1900'de Mercan'a taşınan Mekteb-i Mülkiye'nin idâdîsinde de (ortaokul) fizik ve makine dersleri okutmuş; 1908 yılında Meclis-i Maârif üyeliğine seçilmiştir. 1908-1909 öğretim yılından itibaren Dârülfünun'un Ulûm-ı Riyâziye ve Tabîiye Şubesi'nde hendese-yi tahlîliye (analitik geometri), hikmet-i tabîiye-yi riyâziye (matematiksel fizik), ilm-i heyet (astronomi) ve hisâb-ı ihtimâlî (olasılık hesabı) derslerini okutmuştur.

1909'de Meclis-i Maârif üyesi olarak Avrupa'ya gönderilecek öğrencilerin sınavını yapmış ve onların Paris yolculuğuna refakat etmiştir. 1910'da Mekteb-i Sultânî'de (Galatasaray Lisesi) Tevfik Fikret'in yerine müdür atandı ve bu kamuoyunda kısa süreli tartışmalara sebep oldu. 1912'de Maarif Nezareti müsteşarlığına getirildi. 1913'te de Dârülfünun umumi müdürlüğüne (rektörlük) atandı. Bu görevi 1917'de sona erse de üniversitede hocalığı devam etti. 1919'da ise Fen Fakültesi dekanı oldu. 1920'de ruhî bir bunalım geçirdi. Tedavi edildiği Şişli Fransız Hastanesi'nde 1921'de vefat etti.

Dârülfünun'da eğitim öğretime sadece öğrencilere ders vermek ve yöneticilik yapmak suretiyle katkıda bulunmamış, aynı zamanda 1914-15 ve 1915-16 eğitim yıllarında cuma akşamları matematik sevenlere düzenli konferanslar vermiştir. Halka açık olan bu konferanslarda dinleyenlere Öklid dışı geometriler ve sanal sayılar gibi modern matematik konularını tanıtmaya çalışmıştır. 

Sâlih Zeki'nin yazdığı ders kitapları matematik, geometri, fizik ve astronomi konularında olup, 1928'deki alfabe değişikliğine kadar okutulmaya devam etti. İlkokul, ortaokul, lise ve üniversite öğrencileri için yazdığı ders kitaplarının sayısı elli iki kadardır. Bunların toplam 126 baskısı yapılmıştır. Ölümünden sonra kitapları Hâkî Hamazasb ve Mahmud Ekrem tarafından düzenlenmiştir. En çok geometri kitabı yazmıştır (on dokuz kitap), onu sayısal olarak fizik kitapları takip eder.

Geometri kitapları birbirinin özetidir. Hendese-i Tecrübiye (Deneysel Geometri, 1309/1892), Nazarî ve Amelî Hendese (Kuramsal ve Uygulamalı Geometri), Mebâdî-i Hendese (Geometrinin İlkeleri, 1330), Muhtasar Hendese (Özet Geometri, 1327/1909), İlk Hendese Dersleri (4 kitap) (1918, 1919, 1921), Yeni Küçük Hendese (1329/1911), Yeni Usûl Hendese: 2. Kitab (Hâkî Hamazasb ile 1339/1920). Görüldüğü gibi "İlk Hendese Dersleri" başlığı altında, çeşitli sınıflar ve dönemler için bir dizi (dört tane) geometri kitabı yazmıştır. Yine "kuramsal ve uygulamalı geometri" genel başlığı ile de üç cilt ve bir de özet kitap yazmıştır.

Hendese-i Tecrübiye'nin ön sözünde ifade ettiğine göre, "Mektep Kütüphanesi" adı altında bir külliyat hazırlanması uygun bulunmuş, bu kitap da bu külliyatın (kütüphane) ilk sayısı kabul edilerek yayımlanmıştır. Bu külliyata dahil olacak kitaplar, öğrencinin hocaya ihtiyaç duymadan okuyup anlayabileceği surette yazılacaktır (Hendese-i Tecrübiye, 1309: 3). Sâlih Zeki'nin bu ifadesi, yazdığı bu ve benzeri ders kitaplarındaki pedagojik maksadını göstermektedir.

Fizik üzerine yayımladığı on üç kitap arasında liseler için Hikmet-i Tabîiye (fizik) başlığı altında çeşitli kitaplar yazmıştır; bunlara bir örnek, Hikmet-i Tabîiye Dersleri'dir (Ahmed Fahri ile birlikte, I-II, 1309/1892). Dârülfünun için Hikmet-i Tabîiye-i Umûmiye başlığı altında ise şu kitapları yazmıştır: Mebhâs-ı Elektrik (1328/1912), Mebhâs-i Savt (Akustik) (1326/1910), Mebhâs-i Harâret-i Harekiye (Termodinamik) (1327/1911), Mebhâs-ı Elastikiyet ve Şa'riyet (Esneklik ve Kılcallık) (1327), Mebhâs-ı Câzibe-i Umûmiye (Genel Çekim) (1327/1911). Bunların dışında Küçük Hikmet-i Tabîiye (1333/1917), Mülkiye Mektebi'nin idâdî okulları için 1317 senesi programına göre hazırlanmış iki ciltlik Muhtasar Hikmet-i Tabîiye (Kısa Fizik) (1312/1894), Mukaddemât-ı Ulûm-i Tabîiyeden Yeni Hikmet ve Kimya (Tabii Bilimlerin Öncülerinden Fizik ve Kimya) (1333/1917) adlı kitapları sayılabilir.

Matematiğin hesap, cebir, trigonometri ve olasılık konularında yazdığı ders kitapları ise şunlardır. İlkokullar için Yeni Usul Resimli Hesap Dersleri (altı kitap, Hâkî Hamazasb ile birlikte, 1332), liselerin en son programına göre düzenlenmiş ve yazılmış Cebir Dersleri (iki kitap) (1328), Mücmel Cebir (Özet Cebir, 1329, 1913), Hesâb-ı İhtimâlât (Olasılık Hesabı, 1328/1912), Hülâsâ-yı Hesâb-ı İhtimâlî (1898), Müsellesât-ı Müsteviye (Düzlem Trigonometri, 1329/1913) (Atasoy, 2021: 42-44), Cebir Dersleri Muidi (Cebir Dersleri Yardımcısı) (1328/1912).

Hulâsa-i Hesâb-ı İhtimâlî, olasılık üzerine Osmanlılar'da yazılmış ilk metin olduğundan, Sâlih Zeki'nin bu konuyu ilk defa Osmanlılar'a tanıtmış olduğu söylenebilir.

Mücmel Cebir'in ön sözünde, bu kitapta gereksiz ve tafsilatlı bilgi bulunmadığını; bu özet kitabı dikkatle okuyan bir öğrencinin bilgisinin, liselerde iki yıl okutulan cebir kitaplarından edineceği bilgiden az olmayacağını ifade eder. "Az okuyup iyi bilmek, çok okuyup hiçbir şeyi bilmemeye tercih edilir" (Mücmel Cebir, 3-4). Bu cümlesinde de Sâlih Zeki'nin eğitim anlayışına ilişkin başka bir ipucuyla karşılaşılmaktadır.

Cebir Dersleri Muidi'nin ön sözünde, yazdığı iki ciltlik Cebir Dersleri kitabının içindekilere göre bu kitabı kaleme aldığını söylemiştir. Gerekçesini ise şöyle açıklamaktadır: "Bir şeyi bilmek başka, o şeyi yapabilmek daha başkadır" (Cebir Dersleri Muidi, 4). Bu ifade de bilimlerin öğretilmesinde izlenmesi geren yol ve yönteme ilişkin düşüncesini göstermektedir.

Dârülfünun'daki hocalığı vefatına kadar devam etmiştir. O dönemde Almanya'dan pek çok hoca Dârülfünun'a gelerek fen dersleri okuttukları halde, hiçbir matematik hocası getirilmemiştir. Onun "Ben burada iken ancak Henri Poincaré (1854-1912) yahut Felix Klein (1849-1925) gelebilir" sözü bu durumu açıklar niteliktedir. (İshakoğlu-Kadıoğlu, 1998: 55). Sâlih Zeki'nin ölümünden sonra, verdiği matematiksel fizik dersi program dışı kalmış, olasılık hesabı dersi ise 1926'da zorunlu ders olmaktan çıkarılmıştır. O, yazdığı eserleriyle matematiksel bilimler tarihi, bilim ve matematik felsefesi alanlarını ilk defa Türkiye'ye tanıtmış bir bilim insanıdır.

1923'te Cumhuriyet döneminin ilk üniversite (Dârülfünun) rektörü olan İsmayıl Hakkı Baltacıoğlu'na (1886-1978) göre ilköğretim için yazdığı birkaç hendese (geometri) kitabını az çok pedagoji kaidelerine göre yazmak istemiştir. Fakat bu eserleri idare eden mantık bir psikolog, bir pedagog mantığı olmaktan ziyade, bir âlim riyaziyeci (matematikçi) mantığıdır. Kabiliyetli bir matematikçi sıfatıyla ufak, özet, pratik kitaplar yazmak istemiş, bunlar için zihninin bütün elastikiyetinden istifade etmiştir.

Sâlih Zeki Bey'in eğitimciliği, eserleri ve bilim dünyasına katkıları üzerine çok sayıda çalışma yapılmış olmasına rağmen, onun birikimini bütün yönüyle ortaya koyan bir çalışma henüz yoktur. Eserlerinden bazıları müstakil olarak yayımlanmıştır.