Osmanlı ordusunu ve donanmasını sevk ve idare edenler, XVIII. yüzyılın sonlarına kadar geleneksel usta-çırak ilişkisine ve işi yaparak öğrenmeye dayalı bir şekilde yetiştiriliyordu. Subaylık ve komutanlık, mektep mezunu olmaya dayalı bir meslek olarak görülmüyordu.
Avrupa'da XVII. yüzyılda hafif ateşli silahlar, istihkâm ve gemicilikte sağlanan teknolojik gelişmeler, askerî personelin nicelik ve niteliğini arttırma zorunluluğunu beraberinde getirdi. Takip eden yüzyılda topçu ve istihkâm gibi askerî sınıflara personel yetiştirmek için açılmaya başlanan askerî eğitim öğretim kurumlarının ardından, XIX. yüzyılın başında Avrupa ve Kuzey Amerika'da harp okulları ve harp akademileri kurulmaya başlandı. Daha önce neredeyse tamamen aristokrasiye mahsus bir imtiyaz gibi görülen askerî birlikleri sevk ve idare etme, askerî eğitim öğretimin subaylık için asgari şart haline getirilmesiyle beraber toplumun farklı kesimlerine de açık profesyonel bir ihtisas haline geldi. Osmanlı Devleti de "mütefennin zabit" olarak teşhis ettiği nitelikli askerî personel ihtiyacını gidermek üzere 1775'te Mühendishâne-yi Bahrî-yi Hümâyun'u, 1795'te ise Mühendishâne-yi Berrî-yi Hümâyun'u faaliyete soktu.
Batı modelli bu yenileşme kapsamında İstanbul Hasköy'de kurulan Mühendishâne-yi Berrî, hemen yanındaki humbaracı ve lağımcı ocaklarında görev alacak personeli yetiştirmesi hasebiyle Mekteb-i Harbiye'nin ve halefi Kara Harp Okulu'nun da ilk nüvesini teşkil eder. Nitekim kuruluş dönemi vesikalarında, "Fünûn-ı Harbiye Talimhanesi", "Mekteb-i Fünûn-ı Harbiye" veya "Mühendishâne-yi Sultânî" gibi isimlerle zikredildiği vâkidir.
Sultan III. Selim'in tahttan indirilmesi ve Nizâm-ı Cedit birliklerinin dağıtılmasıyla sekteye uğrayan Mühendishane ve yeni nesil askerî öğretim kurumları, önce 1828-29 Osmanlı-Rusya Harbi ve ardından da Mısır Valisi Mehmed Ali Paşa'nın askerî birliklerine karşı Osmanlı ordusunun 1833'te giriştiği muharebedeki mağlubiyetler sonrasında yeniden gündeme geldi. Yeniçeri Ocağı'nın kaldırıldığı ve yerine Asâkir-i Mansûre-yi Muhammediye adlı yeni bir ordunun kurulduğu 1826 yılı sonrasında taraf olunan bu iki silahlı çatışma, yeni düzenli ordu için "mektepli zabit" ihtiyacını gözler önüne koydu. Yeniçeri Ocağı ile yaşadığı gerginlikler sonrası haklı olarak yeni orduda da bunları yaşamak istemeyen ve komuta kademelerine saray teşkilatından tanıdığı kişileri getirmeye tercih eden Sultan II. Mahmud bu muharebelerden sonra, Fransa'daki École Militaire benzeri bir askerî mektep kurularak burada zabit yetiştirilmesine ikna edildi. Avrupa'da da görev yapmış Hassa Mirlivası Namık Paşa'nın ve Ahmed Fevzi Paşa'nın çalışmaları neticesinde 1834 yılında İstanbul'daki Hassa Ordusu bünyesinde bir "zabit talimgâhı" açılmasına karar verildi. Mevcut belgelerden Rami Kışlası'nda 1835 yılı sonları veya 1836 yılı başlarında faaliyete başladığı anlaşılan talimgâh, 1836 yılı içerisinde Maçka Kışlası'na naklolundu ve sekiz kısımlı bir tabur şeklinde teşkilatlandırıldı.
Rami ve Maçka kışlalarından sonra 1844 yılında Çinili Köşk'e taşınan Mekteb-i Harbiye, 1847'de Pangaltı'ndaki Tophâne-yi Âmire Hastanesi binasına nakledildi. Kırım Harbi (1853-56) sırasında bu binanın Fransız askerlerine tahsis edilmesi sebebiyle 1854'te Taşkışla'ya taşınan mektep, Maçka Kışlası'nın yeni açılan idâdî mektebi için kullanılması ve Pangaltı binasının bir yangınla harap olması yüzünden 1859'da Sarayburnu'ndaki Mekteb-i Tıbbiye (Gülhane) hastane binasına nakledildi. Sultan Abdülaziz'in emriyle, Pangaltı'nda 1862'de başlatılan yeni mektep inşaatı 1863 yılında tamamlandı ve günümüzde Askerî Müze ve Kültür Sitesi Komutanlığı olarak faaliyet gösteren Mekteb-i Harbiye binaları ortaya çıktı.
Kurulduğu tarihlerde Mekteb-i Ulûm-ı Harbiye, Mekteb-i Fünûn-ı Harbiye, Asâkir-i Hâssa-yı Şâhâne, Mekteb-i Harbiye-yi Mansûre ve Mekteb-i Hâssa gibi isimlerle anılan kuruma atanan ilk mektep nazırı, Kaimmakam (Yarbay) Mazhar Bey idi. Akabinde 1837'de aynı göreve getirilen Selim Satı Paşa, sınıfta yapılan teorik derslerden sorumlu olacak ve Cumhuriyet döneminde önce "öğretim başkanlığı", sonra "dekanlık" olarak adlandırılacak ders nazırlığı makamını da ihdas etti. Miralay Kâmil Bey bu makama tayin edilen ilk kişi oldu. Aynı yılın sonunda idari işler, eğitim öğretim ve disiplin konularına mahsus birer şûra tesis edilerek, kararların 1837 yılında çıkarılmış olan "Mekteb-i Harbiye-yi Şâhâne'nin İdâre-yi Dahiliyesine Dair Kanunname" ve diğer mevzuat hükümleri uyarınca alınmasına başlandı.
Daha önce Mısır'da Mehmed Ali Paşa'nın askerî yenileşme faaliyetlerinde de bulunmuş olan Selim Satı Paşa bir kısım öncü düzenlemeye imza attı. Hassa Ordusu kuruluşuna bir eğitim birliği gibi dahil edilmiş mektepte 1837 yılında tabur kuruluşu lağvedildi ve nefer (er) olarak kabul edilen zabit namzetleri "talebe" unvanını aldı. Temizlik veya yemek hazırlamak gibi benzeri işler onlardan alındı ve yeni kurulan hizmet bölüğüne devredildi. Medrese tarzı kitap bitirme usulü yerine ders geçme sistemine geçildi. Ayrıca Arapça ve Farsça'ya ek olarak Fransızca da mektepte öğretilen lisanlara ilave edildi.
Mektebin ilk döneminde öğretim dokuz kısma ayrılmıştı. Birinci kısımda başlayıp sekizinci kısımda tamamlanan devreye "ilk mektep", sekizinci kısmı bitirip yapılan imtihanda başarılı olanların girmeye hak kazandığı dokuzuncu kısma "ikinci mektep" deniliyordu. Altıncı kısımla birlikte, medreselerde de yapıldığı üzere dil, dinî ilimler ve temel matematik öğretimine geçiliyordu. İkinci mektepte ise matematiğe ilaveten topografya, harita bilgisi, basit istihkam, coğrafya, kılıç, tüfek, meç ve top talimleri yaptırılıyordu. Askerî teknolojideki hızlı gelişmelerle 1860'lı yıllara gelindiğinde bu teknik eğitim dersleri müfredatta kendine daha fazla yer buldu. Arazideki askerî eğitimler ve sınıftaki akademik/teorik öğretimle birlikte mektepteki faaliyetlerin üçüncü saç ayağını oluşturacak jimnastik/ beden eğitimi dersleri de ilk defa 1860'lı yıllarda düzenli olarak yapılmaya başlandı.
O dönemde Avrupa'da "üç silah" (Fr. trois armes; Alm. Drei Waffen) olarak adlandırılmaya başlanan ve Osmanlı askeriyesinin "sunûf-ı selâse" (üç sınıf) olarak karşılık bulduğu üç ana muharip sınıf olan piyade, topçu ve süvariye mahsus talimlerin hepsini yapacak arazi ve tertibat mektepte mevcut değildi. Satı Paşa döneminde talebelere topçu ve süvari talimleri yaptırılamazken, istihkâm sınıfına mahsus talimler için Şişli'de bir tabya inşa ettirildi. Ayrıca "Topçu Harbiyesi" olarak da adlandırılan topçu zabitlerinin yetiştirildiği Mühendishane ile piyade ve süvari zabiti yetiştiren Mekteb-i Harbiye 1841'de birleştirildi. Ekseriyeti Fransız olmak üzere yabancı hocaların süvari, eskrim ve yabancı dil derslerine girmeye başlaması 1845 sonrasında gerçekleşti. Mektebin süresi de aynı yıl dört yıl olarak belirlendi ve 1875 yılında üç yıla düşürülene kadar böyle devam etti. II. Meşrutiyet döneminde açılan ama esas olarak Cumhuriyet devrinde faal hale geçen meslekî ihtisas eğitimi veren sınıf okullarının yokluğunda, mektebin eğitim öğretim süresinin daha da düşürülmesi zaten mümkün değildi.
Belirli değişikliklerle günümüze kadar devam edecek bir uygulama olarak, öğrencilerin askerlik mesleğinin değerlerini benimseyerek istenilen vasıflarda yetişmesini temin etmek ve olgunluk seviyelerinin arttırılmasına katkı sağlamak maksadıyla 1878 yılında her öğrenciye "hüsn-i ahlak numarası" (disiplin puanı) verilmesi kararlaştırıldı. Yapılan düzenleme ile 28 Ekim 1878 tarihinde "Mekteb-i Fünûn-ı Harbiye'ye Mekâtib-i İdâdîye Şâkirdânına Mahsus Tavır ve Hareket Nizamnamesi" kabul edildi. Sonraki yıllarda geliştirilen bir sistemle, disiplin mevzuatına aykırı hareket eden öğrencinin her fiiline karşılık bir ceza (izinsizlik, hapis vb.) almasının yanı sıra belirli bir puan da kaybetmesi ve kendisine girişte verilmiş elli puanın tamamını bu şekilde erittiğinde okulla ilişiğinin kesilmesi uygulamasına geçildi.
Mekteb-i Harbiye ilk mezunlarını 1842'de vermiş, bu kişiler mülâzım-ı evvel (üsteğmen) ve mülâzım-ı sânî (teğmen) rütbeleriyle kıtalara gönderilmişti. Ancak ilk ve orta mektep alt yapısı olmadan Mekteb-i Harbiye'ye alınmış bu gençler, dönemin mektep nazırı tarafından yeterli tahsilleri olmadığı gerekçesiyle 1846 yılında geri çağrıldılar. İki senelik ilave tahsilden sonra 1848 yılında yeni bir imtihana tâbi tutulan on kişi piyade yüzbaşı rütbesiyle mezun edilirken, beş kişi de bir sonraki yıl mezun edilmek üzere, yeni açılan erkânıharbiye (kurmay) sınıflarına ayrıldı. Ertesi yıl, 1849'da on bir kişi süvari mülâzım-ı sânî rütbesiyle, beş kişi ise erkânıharp kolağası rütbesiyle mezun oldu. Bu ikinci grup, herhangi bir vazifeye gönderilmeden mektepte hoca olarak bırakıldı. Bazı mezunlar da mülkî idarenin personel ihtiyacı için kullanıldı. Mektepli zabitlerin kıtalarda hizmet vermeye başlaması Kırım Harbi'yle (1853-56) gerçekleşti. Bu tarih aynı zamanda, Osmanlı Devleti'nin sonlarına kadar ordu içinde sürecek olan, mektepli ve alaylı zabit çekişmesinin de başlangıcı oldu.
Kırım Harbi sadece mektebin Pangaltı'ndan taşınmasına değil, 1853 yılında iki sınıfın birden mezun edilmesine de sebep olmuştu. Takip eden ve diğer harp zamanlarında da tekrarlanacak "müstacel sınıf" uygulamasıyla mektebin 1854'te mezun olması gereken altıncı devre talebeleri 1853'te mezun edilmiş, keza 1854'te mezun olması gereken beşinci devre erkânıharpleri de diplomasız olarak 1853'te orduya gönderilmişti. 1877-1878 Osmanlı-Rusya Harbi'nde iki sınıf talebe cepheye yollanırken; 1312 devresi ise "müstacel mezun" (acil mezun edilmiş) unvanıyla 1896 Ermeni tedhiş hareketlerinin bastırılması ve 1897 Osmanlı-Yunan Harbi'nde görevlendirildi. Balkan Harbi'nin patlak vermesiyle 1912'de mektep kadrosundaki zabitler cepheye gönderilirken, talebelere önce İstanbul'un emniyetini temin vazifesi verildi, akabinde Osmanlı ordusu Çatalca'ya geri çekilince ikinci sınıf talebeleri de tahkimat bölgesine yollandı. Diğer taraftan, mektepte de cepheden gelen yaralılar için bir hastane tesis edildi ve cepheye ikmalen gidecek acemi erlerin talimlerine başlandı. 1912-1913 eğitim öğretim yılında ders yapılamadığı ve imtihanlar icra edilemediği için ikinci sınıflar mezun olamadı, birinci sınıflar da ikinci sınıfa geçemedi. Şikâyetler üzerine birinci sınıfların hızlandırılmış şekilde "zabit vekili" (asteğmen) olarak, ikinci sınıfların ise "mülâzım-ı sânî" (teğmen) olarak mezun edilmesine karar verildi.
Talebelerin mektebe girdiklerindeki akademik hazır bulunuşluğunun yetersiz oluşu, 1845 yılında askerî eğitim öğretim teşkilatına bir alt derecenin eklenmesine sebep oldu. İstanbul dahil ordu merkezleri başta olmak üzere on iki vilayet merkezinde beş yıl eğitim süreli askerî idâdîler (liseler) açılmasına karar verildi. Üç yıl sonra, 1848 yılında ise bu defa Mekteb-i Harbiye'yi yüksek derece ile bitirenlerin alınacağı iki yıl süreli erkânıharbiye sınıfları açılarak erkânıharp zabiti (kurmay subay) yetiştirilmeye başlandı. Mekteb-i Harbiye'ye kabul edilen talebelerin yetersizliğine yönelik tespitler, idâdîlerden sonra 1875 yılında dört yıllık askerî rüştiyelerin açılması ve buna bağlı olarak askerî idâdîlerin üç yıla indirilmesiyle neticelendi.
Sultan II. Abdülhamid döneminde hem askerî idâdîlerden hem de mülkiye idâdîleri, sultânî, Numûne-yi Terakkî gibi diğer mülkî (sivil) mekteplerden Mekteb-i Harbiye'ye talebe kabulü yazılı imtihanla yapılıyordu. Diğer mekteplerden başvuranların, askerî idâdîlerin üçüncü sene derslerinde yeterliliklerini gösterecek şekilde, mektepte teşkil edilen bir komisyonca icra edilen imtihanı geçmeleri bekleniyordu. Mektepte "kısım" olarak adlandırılan ders sınıfları, talebelerin bu imtihandaki başarılarına göre teşkil ediliyor, en başarılı olanlar "kısım kıdemlisi" olmaya hak kazanıyorlardı. Bu uygulama Cumhuriyet tarihinde de uzun bir süre devam ettirildi. Taşradaki idâdîlerin hepsinde arzu edilen eğitim seviyesinin tutturulamaması sebebiyle, idâdînin son senesinin Mekteb-i Harbiye veya Kuleli binalarında okutulması da zamanla başvurulan bir diğer tedbir oldu. Ayrıca "Topçu ve İstihkâm Harbiyesi" olarak bilinen Mühendishane'ye talebe yetiştirmek için Halıcıoğlu'nda da bir askerî idâdî mevcuttu. Ancak ne bu mektep ne diğerleri, daha fazla matematik ve fen alt yapısı gerektiren topçu ve istihkâm sınıflarının ihtiyacı olan nitelikte talebeyi yetiştirmekten uzaktı. Topçu askerî idâdî talebeleri ile Mekteb-i Harbiye, Mekteb-i Bahriye ve Mekteb-i Tıbbiye'ye talebe yetiştiren idâdîlerin talebeleri, 1864 yılında Galatasaray'da Mekâtib-i İdâdî-yi Umûmî adı verilen yeni bir kurumda birleştirilmişti. Ancak bu karma yapının ömrü sadece üç sene olabildi.
1871 yılında Mühendishane talebelerinin harbiye sınıfları Pangaltı'na, topçu idâdî sınıfları ise Maçka Kışlası'na nakledilmişti. Hasköy'de boşalan bina ise 1877-78 Osmanlı-Rusya Harbi'nde hastane olarak kullanıldı. Savaş sonrası genişletilen bu bina, tekrar Mekteb-i Harbiye'deki topçu ve istihkâm idâdî talebelerine tahsis edildi. Zaman içinde yüksek okuldan hazırlama okulu/liseye dönüşmüş olan Mühendishane'nin, Mekteb-i Harbiye ve bünyesindeki idâdîden ayrı şekilde varlığına devam ettirilmesi bilinçli bir tercihti. İdâdîleri bitirip gönüllülük veya kura marifetiyle topçu ve istihkâm sınıfına ayrılanların, gereken teknik ve pratik dersleri yeterince alamadıkları için, Mekteb-i Harbiye'de topçu/istihkâm eğitimlerinde yetersiz kaldıkları görülmüştü. Ayrıca bunlara Mekteb-i Harbiye'de daha çok piyadecilik empoze edildiğinden, kendi sınıflarına mensubiyetleri gelişemiyordu. Tophâne-yi Âmire bünyesinde kurulacak bir mühendishanenin topçu/istihkâmcılıktaki gelişmelerin takibine de katkı sağlayacağı ve 1830'lardan beri Prusya ekolünde yetişen topçuların Mekteb-i Harbiye'nin yanaşık düzen ve tüfekli hareketler ağırlıklı Fransız askerî eğitimiyle topçuluk mesleğinde zorluk çekeceği de Tophane tarafından gündeme getirilmişti.
1905 yılında atılan daha ileri bir adımla, Almanya'da olduğu gibi, taşradaki ordu merkezlerinde (Edirne, Manastır, Erzincan, Şam, Bağdat) idâdîlere ilaveten yeni mekteb-i harbiyeler açıldı. Ancak bu kurumlardan da öğretici personel yetersizliği sebebiyle beklenen fayda hasıl olmadı. Neticede Erzincan, Şam ve Bağdat harbiyeleri, sadece birer devre subay mezun ettikten sonra, Meşrutiyet'in ilanı sonrası 1908'de kapatıldı. Edirne ve Manastır ise 1909 yılında da mezun verdiler ve sonra kapatıldılar. Bu durum, aynı çatı altındaki idâdîleri de etkiledi ve eğitim süreleri kısaltılarak iki sınıfları rüştiyelere devredilmiş idâdîlerden öncelikle Bursa Askerî İdâdîsi ve sonrasında Erzurum, Şam ve Bağdat harbiyeleri idâdî kısımları kapatıldı. Böylelikle İstanbul'daki Mekteb-i Harbiye'nin öğrenci kaynağı olarak sadece Kuleli, Manastır ve Edirne askerî idâdîleri kaldı. Balkan Harbi'nden sonra Manastır ve Edirne askerî idâdîleri ile Tıbbiye ve Mühendishane'nin de askerî idâdîleri kapatılınca, geriye bir tek Kuleli kaldı. Bu yüzden, 1912'den itibaren Mekteb-i Harbiye'ye ilk defa sivil idâdîlerden geniş ölçüde öğrenci alındı.
Osmanlı ordusunda 1877-78 Osmanlı-Rusya Harbi sonrası başlatılan yeniden yapılanma kapsamında ülkeye gelen Alman askerî misyonu, Mekteb-i Harbiye de dahil askerî eğitim öğretim sisteminde bir reform süreci başlattı. Albay Kaehler başkanlığındaki heyette yer alan ve onun ölümü üzerine 1885'te yerine geçen Colmar Freiherr von der Goltz (Paşa), "askerî mektepler müfettişi" unvanıyla hem subay hem de kurmay subay yetiştirilen Mekteb-i Harbiye'de bazı düzenlemelere gitti. Öğretim programına bir seçmeli yabancı dil (Almanca ve Rusça), üç askerî ders (piyade ve süvari terbiye-yi askerîsi, seferiye kanunu, dahiliye kanunnâme-yi hümâyunu) ve üç fen dersi (tesviye-yi turûk ve mimari, fenn-i inşaat, hendese-yi resmiye eşkali) ekletti. Fransa menşeli tercüme ders kitaplarının yerini Alman kitapları almaya başladı. Haftada üç dört gün yapılan yanaşık düzen talimlerine ilaveten arazideki muharebe talim ve tatbikatlarının tam olarak icra edilmesine uğraştı.
II. Meşrutiyet devrinde, otuz altı hafta tek dönem olarak icra edilen derslerin bitişi sonrasında, bilhassa piyade, topçu ve istihkâm gibi sınıfların yıl sonundaki uygulamalı askerî eğitimleri, atışları ve tatbikatları için, mayıs ayı başlarında İstanbul'da Maslak-Ayazağa bölgesinde yaklaşık kırk beş gün süreli çadırlı ordugâha çıkma âdet haline getirildi. Bu ordugâh faslı bitince bitirme imtihanlarına giren talebeler ardından izne gidiyorlardı.
Mektepte 1912'de ihdas edilen ve Cumhuriyet döneminde 1942 yılına kadar devam ettirilen bir diğer yeni uygulama da Alman ekolü model alınarak, askerî idâdî mezunlarına Mekteb-i Harbiye'ye katılmaları öncesinde altı ay ordu müfettişlikleri bünyesindeki numune alaylarında nefer talim ve terbiyesi görmeleri şartı getirilmesiydi. Bunun için yaşı küçük veya bedeni zayıf bulunanlar ise Kuleli Askerî İdâdîsi'nde teşkil edilen dördüncü ve beşinci sınıflara alınacaktı.
II. Abdülhamid döneminin sona ermesiyle birlikte, askerî mekteplerin üst idarî teşkilatında ve Mekteb-i Harbiye'nin kendi kuruluşunda da değişikliklere gidilmişti. Hareket Ordusu'nun İstanbul'a hâkim olması sonrasında Mekâtib-i Askeriye Nezareti lağvolunurken, zabit ve küçük zabit (astsubay) yetiştiren bütün askerî mektepler, fırka (tümen) kumandanlığına denk Terbiye ve Tedrîsât-ı Askeriye Müfettiş-i Umûmîliği'ne bağlandı. I. Dünya Harbi'nin hemen öncesinde, 1 Mart 1914'te ise, umum müfettişlik lağvedilerek Mekâtib-i Askeriye Müdîr-i Umûmîliği'ne dönüştürüldü ve Tümgeneral Liman von Sanders başkanlığındaki Alman askerî heyetinin emrine verildi. Meşrutiyet döneminde Mekteb-i Harbiye nazırlığı makamı, "mektep müdürlüğü" adını aldı. Alman piyade muallimi von Ditford'un 1904 yılında teşkilini önerdiği ancak bir askerî darbeye hazırlanıldığı ihbarı üzerine saray tarafından uygun görülmeyen talebelerin piyade alayı teşkilatına geçişi de Ağustos 1909 tarihinde gerçekleştirildi ve mektebin her sınıfı bir tabur oldu.
Ancak kısa süre sonra I. Dünya Savaşı'nın başlamasıyla birlikte, bütün talebeler "kıdemsiz zabit namzetleri" unvanıyla mezun edilerek 4 Ağustos 1914 tarihinde Mekteb-i Harbiye kapatıldı. Mektep binası ise savaşın sonuna kadar İhtiyat Zabit Namzetleri Talimgâhı olarak faaliyet gösterdi ve sonra da hastane olarak kullanıldı. Mütareke döneminde İhtiyat Zabitleri Talimgâhı lağvedildi ve aynı yerde Muvazzaf Zabit Namzetleri Talimgâhı açıldı. Askerî idâdîlerden gelen talebelerle daha önceden eğitimlerini bitiremeyenler birer tabur teşkil edilerek buraya alındı. İstanbul'un İtilaf kuvvetlerince gayriresmî işgalinin ardından, İngiliz işgal kuvvetleri komutanı 13 Aralık 1918 tarihinde ve bundan üç gün sonra iki defa daha bizzat Pangaltı'na gelip binanın boşaltılmasını istedi. Bunun üzerine hastane olarak kullanılan mektepteki hastalarla burada bulunan Askerî Mektepler Müdürlüğü makamı acilen önce Sarıyer Amele Taburu'nun binasına, sonrasında Kuleli'ye taşındı. Kısa süre sonra şehrin Anadolu yakasında Bostancı, Suadiye ve Erenköy'de konuşlandırılan talimgâhlarda Edirne ve Kuleli askerî idâdîlerinden gelmiş talebeler, Muvazzaf Zabit Namzetleri ve İhtiyat Zabitleri talimgâhlarında derslerini tamamlayamamış olanların hepsi "harbiye alayı" adı altında ders ve talim görmeye başladılar. Aynı zamanda Kayışdağı'nı üs tutup Pendik, Maltepe, Bostancı civarına baskınlarla ahaliyi katledip mallarını yağmalayan Rum çetelerine karşı bölgenin korumasını üstlendiler. Bu durumun Rumlar tarafından şikâyet konusu yapılması üzerine, İngilizler'in tazyikiyle Pendik'ten Kartal'a kadar mevcut talimgâhlar iki günde Bostancı'ya taşındı, 5 Ağustos 1919'da ise lağvolunarak 20 Aralık 1919'da Halıcıoğlu'ndaki Mühendishane binasına nakledildi.
İstanbul'un resmen işgali sonrasında 20 Nisan 1920'de burası da kapandı ve hem Pangaltı'ndaki tarihî mektep binası hem de Kuleli Kışlası işgal edildi. Kısa bir süre Kâğıthane'de çadırlardan kurulu bir ordugâha yerleşildikten sonra az miktarda talebe ve mektebin tertibatı sırasıyla 1 Ağustos 1920'de önce Eyüp'teki İplikhane'ye, sonra Maçka Kışlası'na, orası da işgal edilince 15 Eylül 1921-16 Ağustos 1922 tarihleri arasında kalınacak olan Zeytinburnu Kışlası'na nakledildi. Zabitan Mektebi adı verilmiş bu geçici talimgâh, 1922 Ekim ayında lağvedildi. Talebelerin bir kısmı evlerine dönerken, Anadolu'daki Millî Mücadele'ye veya Abidin Paşa Talimgâhı'na katılanlar da oldu. Erenköy-Bostancı-Maltepe Piyade Zabit Namzetleri Talimgâhı'na devam etmiş olanlar, Cumhuriyet döneminde 1931'e kadar Harbiye Mektebi'nde "ikmâl-i tahsil" adı altında tamamlama eğitimine alındılar.
Millî Mücadele'nin merkezi Ankara'da Cebeci'de bulunan Abidin Paşa Konağı çevresinde tesis edilen talimgâh üç devreden müteşekkildi. Birinci devreye Zabitan Mektebi'nden, ikinci devreye idâdîlerden ve üçüncü sınıfa ise Mekteb-i Harbiye ve Kuleli'nin çeşitli sınıflarından gelen talebeler alındı. İstanbul'un işgalinin ardından Anadolu'ya geçerek Millî Mücadele'ye katılan Kuleli Askerî İdâdîsi talebeleri ve yedek subaylar ile diğer askerî öğrenciler 1 Temmuz 1920'de Cebeci'deki Abidin Paşa Köşkü'nde açılan Sunûf-ı Muhtelife Zabit Namzetleri Talimgâhı'nda eğitime başladılar. Talimgâh ilk mezunlarını Ekim 1920'de Mustafa Kemal Paşa ve Fevzi Paşa'nın katıldığı bir törenle verdi. 1 Nisan 1923'te "Harbiye Mektebi" adını aldı ve 17 Eylül 1923'te İstanbul'a nakledilerek Pangaltı'ndaki tarihî binada eğitim öğretim faaliyetine devam etti.
İstanbul Pangaltı'ndaki mekânına dönen Harbiye Mektebi'nin eğitim öğretim süresi iki yıl olarak belirlenmişti. Burada ilk mezunlar 1924 yılında verildi. Balkan Harbi ile başlayıp Millî Mücadele ile sonlanan on yıllık harp döneminde Mekteb-i Harbiye'nin tam bir zabit talimgâhına dönüşmesiyle mektebin müfredatında matematik, fizik, tarih de dahil hiçbir akademik ders kalmamıştı. Ancak 1930'lu yıllarda muharebe, havacılık, nakliye gibi teknik sınıflar için müfredata matematik ve fizik eklenebildi.
1926 yılı itibariyle Harbiye Mektebi'ne kabul edilen talebelerin ayrılacakları askerî sınıflar; piyade, süvari, istihkâm, topçu, demiryolu, muhabere, nakliye ve otomobil, levazım, askerî tabip ve askerî baytar idi. Tam devreli olmayanlar hariç bütün lise mezunları kontenjan dahilinde imtihansız kabul olunmaktaydı. Osmanlı döneminden kalan uygulama çerçevesinde, talebeler mektebe başlamadan önce tayin edildikleri kıtalarda dört ay nefer altı ay onbaşı rütbesiyle Harbiye birinci sınıf talebe maaşıyla hizmet ediyor, kıtalara sevkleri ve sonrasında Harbiye Mektebi'ne iade işlemlerini III. Kolordu yürütüyordu. Bulundukları kıta komutanı ve sıralı amirlerinden "Zabit olur" sicili alanlar, 1 Eylül'den itibaren kıdemli çavuşluğa nasbolunarak o rütbe maaşıyla talebeliğe başlıyor ve Harbiye Mektebi Dâhilî Hizmet Talimatnamesi'ne tâbi oluyorlardı.
Mektebin kuruluşuna 1931 yılında yeniden öğrenci alayı eklendi. Aynı yıl başkent Ankara'da Dikmen yolunda, Avusturyalı Mimar Holzmeister tarafından tasarlanan yeni Harbiye Mektebi binasının inşasına başlandı. Başlangıçta 1000 kişilik düşünülmüş bina, sonradan 1400 mevcutlu olmasının istenmesiyle büyütülmeye çalışıldı, ancak planlanan vakitte tamamlanamadı. Mevcut belgelere göre, 1935 yılından itibaren Harbiye Mektebi Müdüriyeti unvanı yerini "Harp Okulu Komutanlığı"na bıraktı ve ertesi sene günümüzde "Atatürk Sitesi" olarak adlandırılan yeni binasına nakledildi (bk. Kara Harp Okulu). Boş kalan Pangaltı binasına, Yedek Subay Okulu ile Maçka'daki Fen ve Tatbikat Mektebi taşındı. Ancak Yedek Subay Okulu, II. Dünya Savaşı şartlarında İstanbul güvenli bulunmadığı için tıpkı Harbiye Mektebi gibi 1941'de Ankara'ya nakledildi.
