Bulgaristan'ın Kazanlık kazasında doğdu. Mahalle mektebinden sonra Kazanlık'taki Türk Rüştiyesi'ne devam etti. Tıp eğitimi için İstanbul'a geldiyse de annesinin vefatı üzerine geri dönmüş, 1901'de Bulgar Rüştiyesi'nde ve Bulgar Öğretmen Okulu'nda okumuştur. Mezuniyetinin ardından Rusçuk Türk Rüştiyesi'nde öğretmenliğe başladı (1905). Tuna ve Uhuvvet Gazetesi'nde yazılar yayımladı. Bulgaristan'da Muallimîn-i İslâmiye Cemiyeti'nin kurulmasında rol oynadı ve 1906'da Şumnu'da düzenlenen ilk toplantıda yazmanlığa getirildi.

Avrupalı eğitimcilerden etkilenerek Rusçuk'taki Avusturya Ticaret Okulu'nda Almanca öğrendi. 1907'de Jena Üniversitesi Felsefe Fakültesi'ne kaydoldu, burada Wilhelm Rein'dan pedagoji ve psikoloji dersleri aldı, 1910'da İstanbul'a döndü. Maarif nazırı olan Emrullah Efendi, onu Dârülfünun'da ilm-i terbiye dersi hocalığına getirmek istese de Selanik Maarif Müdürü Tâhir Rüşdü Bey'in talebi üzerine Selanik Sultânîsi ders nazırlığına atandı (Aralık 1910). Temmuz 1911'de bu görevinden ayrıldı. Selanik'te İttihat ve Terakkî Cemiyeti tarafından açılan idâdîye tayin edilerek burada 25 Kasım 1912'ye kadar psikoloji derslerini yürüttü. Mayıs 1913'te kısa bir süre kalacağı Balıkesir Sultânîsi'ne atandı. Kasım 1914'te ise İzmir İdâdîsi müdürlüğüne getirildi.

1915'te, Türk eğitim sistemine Alman ekolünü yerleştirmekle görevlendirilen ve Maarif Nezareti müşavirliğine getirilen Franz Schmidt'in sekreterliğine atandı. Bu esnada fenn-i terbiye, târîh-i terbiye, ilm-i rûhu'l-etfâl ve ilm-i rûh-ı tecrübî gibi dersleri vermek üzere Almanya'dan getirilen Dr. Georg Ancshütz'ün muavinliğine verildi (Ata, 2010). Bezmiâlem Kız Sultânîsi'nde terbiye-yi etfâl ve mâ'lûmât-ı medeniye ve ahlâkiye hocalığı da yaptı. 1916'da İstanbul'da Dostluk Yurdu adındaki bir projenin komisyonunda görev aldı, 1917'de Sâtı Bey'in başkanlığında Maarif Nezareti'nde kurulan Fenn-i Terbiye Encümeni üyeliğine getirildi.

1918'de Hey'et-i Teftîşiye Riyaseti'nin başkanlığına seçilerek hem tetkik hem de eğitim için Almanya'ya gönderildi. 1919'da döndü, Ekim 1919'da Dârülfünun'a atandı ve tecrübî ruhiyat hocalığına getirildi. Aynı zamanda İstanbul Kız Muallim Mektebi'nde de derslere girdi. 1923'te Hey'et-i İlmiye Toplantısı'nda Dârülmuallimât-ı Âliye'yi temsilen bulundu. Prag'da düzenlenen Beynelmilel Mekâtib-i Âliye Muallimleri Kongresi'ne Zeki Mesud ile (Alsan) katıldı (1923), 1925'te bu kongrede ele alınan konuları kitaplaştırdı ve Prag'daki gözlemlerini Muallimler Mecmûası'nda yayınladı (BCA 30-18-1-1/9-25-20). 1924 ve 1925 yıllarında Hey'et-i İlmiye toplantılarına katıldı, 1926'da Millî Talim ve Terbiye Heyeti azalığına getirildi ve on iki yıl bu görevi sürdürdü (BCA 30-18-1-1/18-20-14). Ankara Musiki Muallim Mektebi'nde psikoloji muallimliği yaptı, 1929'da eğitim sistemini incelemek üzere Bulgaristan'a gönderildi, gözlemlerini Bulgaristan Maârifi başlıklı kitabında aktardı. 1930'da Rus ilk mekteplerindeki eğitim faaliyetlerini incelemek için Leningrand'da düzenlenen sergiye Avni Başman'la katıldı (BCA 30-18-1-2/11-40-13). 1935'te ilköğretim ve ortaöğretim komisyonunda görev aldı, ayrıca Atatürk'ün himayesinde kurulan Türk Maarif Cemiyeti üyeliği yaptı.

1938'de Millî Talim ve Terbiye Heyeti üyeliğinden ayrıldı, İstanbul Kız Muallim Mektebi'ne terbiye, ruhiyat, usûl-i tedris muallimi olarak görevlendirildi. 1948'de emekli oldu. Muallimler Birliği, Sivil Genel Emekliler Birliği ve Türk Pedagoji Cemiyeti'nde faaliyetlerde bulundu. Şeker hastalığı ve kalp rahatsızlıkları sebebiyle 30 Aralık 1956'da vefat etti, Edirnekapı Şehitliği'ne defnedildi.

Ali Haydar Taner'in eğitim üzerine çok sayıda eseri vardır. İlk telif eseri okuma yazma öğretimine dair Kolay Elifbâ (1920) isimli ders kitabıdır ve eserin 1928'e kadar farklı baskıları yapılmıştır. Harf inkılabından sonra Resimli Kolay Alfabe (1928) isimli ders kitabını yazmış, bu kitabın da 1936'ya kadar farklı baskıları yapılmıştır. 1927'de Kur'ân-ı Kerîm Elifbâsı hazırlamıştır.1927'de Hüviyet Bekir Örs ile Hayat Bilgisi: Hayvanlar; 1936'da daha sonra Ruhbilim adıyla yeni baskıları yapılacak olan Psikoloji; 1940'ta Ortaokul İçin Tarih II; 1944'te Hüviyet Bekir Örs ile Özel Öğretim Metotları ders kitaplarını yazmıştır. 1924'te lise ve orta mekteplerde kullanılmak üzere bir Tetkikat-ı Rûhiye Rehberi hazırlamış, 1926'da Muallimler Birliği Umumi Kongresi'nde sunduğu Millî Terbiye başlıklı raporunu aynı yıl bastırmıştır. Aynı yıl Millî Bilmeceler'i yazmıştır. Ali Haydar Bey'i yayın hayatında asıl üne kavuşturan G. S. Petrov'dan tercüme ettiği çeviri kitaplarıdır. 1928'de Millî Talim ve Terbiye Heyeti kararı ile öğretmenlere tavsiye edilecek eserler arasında yer alan G. S. Petrov'un Beyaz Zambaklar Memleketinde (1928) ve Mefkûreci Muallim (1928) kitaplarını Bulgarca'dan tercüme etmiştir. Her ikisi de Türkiye'de eğitim sisteminin iyileştirilmesinde öğretmenlere hitap eden eserlerdir. Mefkureci Muallim'e yazdığı önsözde kitabın ilkokul, bilhassa köy öğretmenleri için yazıldığını belirtmiştir. Ayrıca Petrov'un Büyük Adamlar (1930) ve Şehirler ve İnsanlar (1937) adlı eserlerini ve H. Spitzy'nin Çocuğun Bedenî Terbiyesi (1928), E. Haeckel'in Kâinatın Muammaları (1936) adlı eserlerini de tercüme etmiştir. 1941'de Yabancı Kelimeler Lûgatı'nı yayımlamıştır. Emekliliğinden sonra Pedagoji Cemiyeti'ndeki çalışmalarından doğan Telkin ve Eğitim (1950), Meşhur Ruhbilimciler (1954) adlı kitapları çıkarmıştır.

Eğitim üzerine görüşlerinin yıllar içinde farklılaşmaksızın milliyetçi bir öz etrafında geliştiği görülür. 1913'te henüz öğretmenlik yıllarında kaleme aldığı bir makalesinde vatan kavramı ve öğretimi üzerinde durmuştur. Eğitimin millî ve vatanî olması gerektiğini belirtmiş, vatandaşlık eğitiminde coğrafya, tarih yanında musiki, beden eğitimi, jimnastik gibi estetik derslerinin önemine değinmiş, bu derslerde yapılan hataları belirtmiş, tarih ve vatandaşlığın coğrafya dersi ile ilişkilendirilerek öğretilmesi, yakın tarihin daha ayrıntılı işlenmesi gerektiğini ifade etmiştir. 1913'te ifade ettiği bu fikirlerini ilerleyen yıllarda daha ayrıntılı bir şekilde savunmuştur. Söz konusu makale, 1926'da Muallimler Birliği Umumi Kongresi'nde sunduğu Millî Terbiye başlıklı raporunun bir prototipi gibidir. Millî Terbiye'de eğitimin tam anlamıyla en ufak ayrıntısına kadar millî olması gerektiğini savunmuş, bu millî eğitimin sadece okulla sınırlı kalmaması, okul dışı eğitimi de kapsaması gerektiğini ifade etmiştir. Millî masalların, Türkçe kişi ve yer adlarının, aile tarihçesi oluşturmanın, ev eşyalarının, kıyafetlerin Türk yaşayışına uygun bir şekilde düzenlenmesi gerektiğini belirtmiş, öğrencilerin beslenmesinden spora, müzelere, mimarlığa, ressamlığa kadar hayattaki her şeyin millî eğitimin oluşturulmasında bir araç olduğunu vurgulamıştır. Ali Haydar Bey'in bu raporu dönemin millî eğitimi için yol gösterici olmuştur.

Öğretmenlik yıllarından itibaren müfredat programlarının önemine dair çalışmalar yapmış, köy öğretmen okulları ve engelli okullarının müfredat programlarıyla ilgilenmiş, müfredatların okulların hedeflerini belirleme ve o hedeflere ulaşmada önemli olduğunu ifade etmiştir. Bürokratik görevlerinde de müfredat programlarının hazırlanmasında etkili olmuştur. 1926 İlk Mektepler Müfredat Programı ve 1936 İlk Okul Programlar'nın düzenlenmesinde rol oynamış, Millî Talim ve Terbiye Heyeti'ndeki göreviyle Avni Başman, Mehmet Emin Erişirgil gibi isimlerle dönemin eğitim politikalarını yönlendirmiştir. 1933'te kabul edilen ve ilk mekteplerde ilk dersin öncesinde okutulan And'ın kabulünde imzası olan dört kişiden biridir (Maarif Vekâleti Millî Talim ve Terbiye Dairesi, 10 Mayıs1933, Karar nr. 101). Eğitimde telkinin önemi üzerinde durmuş, ders kitaplarının çocukların ruhsal yapısına uygun olmadığını, onları ezberciliğe alıştırdığını söylemiş ve Millî Talim ve Terbiye Heyeti'ndeki çalışmalarında yeni ders kitaplarının hazırlanması ve onaylanmasında etkili olmuştur.

Erken Cumhuriyet döneminde benimsenen eğitim politikalarının belirleyici ve savunucularından olan Ali Haydar Taner üzerine Bahri Ata'nın çalışmaları mevcuttur. Ayrıca Bahri Sorguç ve Ayşe Yanardağ'ın onun eğitimci yönünü merkeze alan araştırmaları vardır.