İstanbul'da doğdu. Babası Hasan Efendi Tophâne-yi Âmire Muhasebe Kalemi mümeyyizlerindendir. Annesi Şevket Feza Hanım'dır. İlk tahsilini mahallesindeki Otakçılar Camii imamı Hafız Mehmed Bey'den aldı. Sıbyan mektebinden sonra Eyüpsultan'da bulunan Hz. Hâlid Mekteb-i Rüşdiyesi'ne devam etti ve buradan mezun oldu. Bir süre medrese eğitimi gördü. 1867-68 yıllarında Mahrec-i Aklâm adlı okulda eğitim gördükten sonra yatılı olarak devam ettiği Galatasaray Lisesi'nden 1873 yılında mezun oldu. Abdurrahman Şeref, özellikle tarih ve coğrafya konularına ilgiliydi. Mahrec-i Aklâm-ı Şâhâne, Mekteb-i Sultânî ve Dârülmuallimîn'de tarih ve coğrafya öğretmenliği yaptı. Daha sonra Mekteb-i Mülkiye'de idareci olarak bulundu. 1907 ve 1909 yıllarında iki defa Maarif nazırlığı yaptı. 1909-1922 yılları arasında sürdürdüğü vakanüvisliği sebebiyle Osmanlı Devleti'nin son resmî devlet tarihçisi unvanını kazandı. 1918 yılında Evkaf nazırlığı da yapan Abdurrahman Şeref döneminin itibarlı isimlerinden biriydi. 1923'te ikinci devre İstanbul milletvekili olarak girdiği meclise, en yaşlı üye olması sebebiyle açılışta başkanlık etti. 1925'te vefat etti ve Edirnekapı dışındaki Otaktepe Mezarlığı'na defnedildi.

Öğretmenliği döneminde okuttuğu lisân-ı Osmânî, târîh-i Devlet-i Osmâniye, coğrafya-yı umumi, istatistik ve ahlak derslerinde öğrencilere bilgi aktarmaktan çok onların düşünce ufuklarını açmayı, onlara rehberlik etmeyi amaçlamıştır. Bazı öğrencilerin askerlik görevi sebebiyle eğitimlerini aksatmalarına sıcak bakmamış, eğitimlerine devam etmeleri konusunda çaba göstermiştir.

Abdurrahman Şeref'in eğitimle ilgili düşünceleri yaşadığı dönemdeki birçok aydınla aynıdır. Bazı Batılı eğitimci ve düşünürlerin görüşlerini eserlerinde zikretse de ona göre eğitim din ve dünya selameti, ahlakî kişiliğin olgunlaşması ve meslek edinmek için yapılmaktadır. Bu yönüyle geleneksel bir eğitim düşüncesine sahip olan Abdurrahman Şeref, kız çocukları ve kadınların da eğitim almalarından yanadır. Meslek hayatında yeni ilimleri dinî düşüncelerle birleştirmeye gayret etmiş bu düşüncelerinin bir kısmını idarecisi olduğu Galatasaray Lisesi ve Mülkiye Mektebi'nde gerçekleştirme fırsatı bulmuştur. Öğretmenin eğitimdeki rolünü bildiği için dönemin en yetkin öğretmenlerini bu okullarda toplayarak başarı seviyesini yükseltmiştir. Terbiyenin Arapça rubuv kelimesinden doğduğunu, bundaki hedefin beden ve ruhun tekamülü olduğunu, yeteneklerin dışarıdan yapılan etkiyle şekillenebileceğini, milletlerin ve devletlerin terbiye ile ayakta kalabileceğini ifade etmiştir. Eğitimin fikrî birtakım bilgilerle donanmak, terbiyenin ise bu bilgileri fikrin istifadesine sunmak olduğunu belirterek bu iki kavramı birbirinden ayrıştırmıştır. Abdurrahman Şeref eğitimciyi cahilliği tedavi eden doktora benzetmektedir. Terbiye beşikten mezara kadardır. Başlangıcı kişinin çocukluk dönemi, kuvvetlenmesi gençlik dönemiyle ilgilidir. O, terbiyeyi beden terbiyesi, fikir terbiyesi, nefis terbiyesi, din ve ahlak terbiyesi olmak üzere bölümlere ayırmış, ilk olarak ailede alındığını ve bu görevin babaya ait olduğunu belirtmiştir. Fikir terbiyesinin üzerinde önemle durmuş, öğretmene büyük iş düştüğünü dile getirmiştir.

Abdurrahman Şeref, resmî görevlerinin yanında çoğu ders kitabı olmak üzere birçok eser kaleme almıştır. Gazetelerde yayımlanan yazılarını Târih Musâhabeleri adlı kitabında bir araya getirmiş, başkanı olduğu Târîh-i Osmânî Encümeni'nin yayın organı Târîh-i Osmânî Encümeni Mecmuası'nda çeşitli makaleler yazmıştır. Vakanüvisliği sırasında 1908-1918 yılları arasında kaydettiği olayları Vekayi'nâme adlı eserinde yazıya dökmüş fakat bunu yayımlamamıştır.

Eserleri: Târîh-i Osmânî (1307): Eser yükseköğretim öğrencileri için ders kitabı mahiyetinde iki cilt olarak hazırlanmış bir tarih kitabıdır. Târîh-i Devlet-i Osmâniye (1309-1312): Mülkiye müdürlüğü yaptığı sırada yayımlanmıştır. Târih Musâhabeleri'nden (1339) sonra onun en çok tanınan eseridir. Fezleke-i Târîh-i Devlet-i Osmâniye (1312): Liselerde okutulmak için hazırlanmış bir tarih kitabıdır. Fezleke-i Târîh-i Düvel-i İslâmiye (1301): Müellifin yayımlanan ilk eseridir. Özelde Asr-ı Saâdet, Hulefâ-yi Râşidîn ve Emevi Devleti dönemleri genelde İslam tarihi anlatılmaktadır. Zübdetü'l-Kısas (1315/1316): İki cilt olan eserde dünya tarihi anlatılmıştır. Târîh-i Lutfî (1328): Ahmed Lutfi Efendi'nin yerine vakanüvis olan müellif onun eserini ekler yaparak yeniden düzenlemiş ve neşretmiştir. Târih Musâhabeleri (1339): Müellifin Sabah ve Vakit gazetelerinde yazdığı makalelerinden derlenmiştir. 11 Temmuz 1324 Tarihinde İlan-ı Meşrutiyeti İcab Eden Ahvâl-i Ahire Hakkında Bazı Mütalaat (yazma): Eserde Meşrutiyet'in ilanı, II. Abdülhamid dönemi, 31 Mart Vakası Hareket Ordusu'nun İstanbul'a gelmesi gibi olaylar ele alınır. Müellifin vakanüvisliği döneminde kaleme aldığı bir eser olduğu için olaylar sıcağı sıcağına anlatılmıştır. Coğrafya-yı Umûmî: Mekteb-i Sultânî müdürlüğü döneminde yazmıştır. İlm-i Ahlak: Müellif Mekteb-i Mülkiye'de ilm-i ahlak dersleri vermiş ve bunların özetini bu kitapta toplamıştır. Eserin 1912 yılına kadar birçok baskısı yapılmıştır.