Selanik'te dünyaya geldi. 1867 yılında Selanik Mülkiye Rüştiyesi'nden mezun oldu. Hususi dersler alarak Arapça, Farsça ve Fransızca öğrendi. Bir süre özel dersler verdi, 1869-1871 yılları arasında Aynaroz Gümrük İdaresi'nde kâtip, 1871'den itibaren de Selanik'teki bir ecnebi mektebinde Türkçe öğretmeni olarak görev yaptı. Burada edindiği tecrübe ve gözlemleri ile Türk öğrencilere yönelik benzer metotlarla modern tarzda eğitim verebileceği bir okul açma düşüncesi oluştu. 1872 yılında Selanik'teki Sabri Paşa caddesi üzerinde bulunan Çarşamba Dergâhı'nın karşısındaki tek katlı küçük bir binada okulunu açmayı başardı. Bu okul İstanbul dışında Avrupaî tarzda açılan ilk özel eğitim kurumlarından biri olarak değerlendirilmektedir.

Okulda bugünkü okullarda gördüğümüz sıra, kürsü, tahta, silgi, tebeşir gibi eğitim araç gereçleri ile teneffüs, beden eğitimi dersleri, öğrenci oyunları, gözlem gezileri gibi çeşitli modern yöntem ve teknikler kullandı. Derslerde tablo, harita ve resim kullanarak öğrencilerin anlayarak öğrenmelerine gayret gösteriyordu. Bütün bu çabalar Şemsi Efendi Mektebi'nde öğrencilerin dönemin şartlarına göre iyi bir eğitim almalarına imkân vermekteydi.

Okul dışında da eğitim faaliyetlerine devam eden Şemsi Efendi, halkın okuma alışkanlığı kazanmasına yardımcı olmak için kıraathanelere kitap ve dergilerle destek oluyordu. Kullandığı yeni eğitim öğretim yöntemleri ile araç gereçler bazı kişileri rahatsız etti. Bunun üzerine Şemsi Efendi okulunu kapatmak zorunda kaldı. Bu olaydan sonra eğitim öğretim faaliyetlerine evinde devam ettiyse de baskılar neticesinde faaliyetlerini durdurdu. Bununla beraber öğrencileri her gün evine uğruyor, kısa süre de olsa onlarla ders işliyordu.

Okulunda uyguladığı yöntem ve tekniklerle eğitim araç gereçleri o dönemde Selanik valisi olan Midhat Paşa'nın dikkatini çekmişti. Paşa, mektebin kapatılması meselesini vilayet meclisinde gündeme getirdi ve müzakereler sonunda yeniden açılmasına karar verildi. Valinin desteğine karşı duyduğu minnetin de etkisiyle Şemsi Efendi, onun kimsesiz çocukların eğitimi için kurulmasına önem verdiği Mekteb-i Sanâyi'de öğretmenlik yaptı. Bu çabalarından dolayı kendisine beşinci rütbeden Mecidî nişanı verildi.

Bu tecrübelerinden sonra kendisi gibi eğitimci İsmail Hakkı Efendi ile beraber yeni bir okul açtıysa da bu iş birliği kısa sürdü. Ancak bu girişim, her iki ismin de kuruluşunda görev aldığı Selanik'te 1879 yılında öğretime başlayan Mekteb-i Terakkî'nin açılmasında etkili oldu. Şemsi Efendi bir yıl sonra İstanbul'daki Şemsülmaârif adlı özel okulu idare etmek üzere davet edildi, fakat görüşmeler olumlu geçmeyince geri döndü. Bu süre zarfında eğitimle ilgili faaliyetlerine devam ederek 1887 yılında okulunu ikinci defa açtı. Mustafa Kemal'in öğrenciliği bu döneme rastlar. Fakat okulun tekrar baskılara maruz kalması, öğrenci sayısındaki azalma gibi sebeplerden ötürü Şemsi Efendi, mektebini 1891 yılında bir daha açılmamak üzere kapattı. Bundan sonra Selanik'teki Ravza-yı Tâlim Mektebi'nin kuruculuk, Mekteb-i Feyz-i Sıbyan'da ise öğretmenlik yaptı.

Şemsi Efendi, II. Meşrutiyet'in ilanı üzerine öğrencileriyle beraber hürriyet ve meşrutiyet lehindeki gösterilere katıldı. Aynı yıl Meşrutiyet'in ilanı münasebetiyle yapılan kutlamalara katılmak için kız talebeleriyle birlikte İstanbul'a gitti. Bir vesileyle Sultan Mehmed Reşad'ın huzuruna çıktı. Daha sonra padişahı Rumeli gezisi sırasında Selanik'te muallimlerin sözcüsü olarak karşılamıştır.

Şemsi Efendi Balkan savaşlarına kadar Selanik'te çeşitli okullarda müdürlük ve öğretmenlik yaptı. Balkan savaşları sırasında Selanik'in Yunanlılar'ın eline geçmesi üzerine ailesiyle birlikte İstanbul'a göç etti. Bâbıâli, Balkan Harbi'nde Rumeli'nden göç eden öğretmenleri yarım maaşla taşra okullarında görevlendirirken Şemsi Efendi'yi İstanbul'da ilköğretim müfettişliğine tayin etti. Bir müddet bir kız okulunda Fransızca öğretmenliği de yaptıktan sonra vefat etti ve Üsküdar'daki Bülbülderesi Mezarlığı'na defnedildi.