Kuruluş yılı tartışmalı olmakla birlikte varlığı I. Murad zamanına kadar gider. Eleman ihtiyacı önceleri Edirne'nin fethinden sonra çıkarılan pençik kanunnamesi ile savaş esirlerinden, daha sonra devreye sokulan devşirme kanunu ile de Osmanlı tebaası hıristiyan ailelerden karşılanırdı. Bu çocuklar Gelibolu-Çardak arasındaki at gemilerinde birkaç yıllığına çalıştırıldıktan sonra asker yapılırken, zamanla bunun sakıncaları görüldü ve bir süre Türk ailelerinin yanlarına verilerek orada eğitilmeleri kararlaştırıldı. Bu uygulama kaynaklarda "Türk'e verme" veya "Türk üzerinde olan acemi oğlanları" şeklinde ifade edilir. Küçük bir ücretle Türk çiftçi ailelerin yanında Türkçe ve Türk-İslam gelenek ve göreneklerini öğrenen bu gençler aynı zamanda yaptıkları toprak işleriyle bedenen de güçlenirlerdi. Daha sonra ise başlarına ak börk giydirilerek askerî eğitim almak üzere Acemi Oğlanlar Kışlası'na sevk edilirlerdi. Burada ağırlıklı olarak orduya dair uygulamalı dersler almaya devam eden bu gençler daha sonra başta yeniçeri olmak üzere diğer kapıkulu ocaklarına ve Bostancı Ocağı'na dağıtılırlardı.

Devşirme oğlanlarının kırk evde bir çocuk şeklinde olmasına özen gösterilir ve genellikle on sekiz-yirmi yaş arasındakiler tercih edilirdi. Fâtih Sultan Mehmed döneminde Bosna'nın fethinden sonra ailelerinin talebi üzerine istisnaî olarak müslüman Bosnalı ailelerin çocukları da devşirilmiştir. Devşirmelerin her bakımdan uygun olanları Edirne'deki Eski Saray'da, Galata Sarayı'nda ve İbrâhim Paşa Sarayı'nda aldıkları eğitimden sonra içlerinde en iyileri Enderun'a verilirdi. Acemi Ocağı'ndan yeniçeri veya diğer kapıkulu ocaklarına, Bostancı Ocağı'na geçmeye "bedergâh" veya "kapıya çıkma" denirdi.

I. Murad zamanında Gelibolu'da, fetihten sonra Fâtih Sultan Mehmed tarafından İstanbul'da acemi kışlaları inşa edildi. Zamanla "Türk'e verme" denilen uygulamadan vazgeçildikten sonra gençler doğrudan bu kışlalarda eğitildiler. İstanbul'daki Acemi Ocağı'ndaki oğlanlara "şâdî" veya "torba oğlanı" denirdi. Gelibolu'dakiler ağırlıklı olarak devlete ait mîrî gemilerde çalışırlarken, İstanbul'dakiler yine devlete ait inşaatlarda, fırınlarda ve gemilerde çalıştırılırlardı. Bu arada gerekli askerî eğitim de alırlardı. Bir kısmı gerektiğinde Ağakapısı'nda nalbantlık, saraçlık, berberlik vb. sanatları öğrenirlerdi. İstanbul'daki Acemi Oğlanlar Kışlası Vezneciler ile Şehzadebaşı arasında idi. Mevcutları zaman içerisinde azalıp çoğalmıştır. XVII. yüzyıl başlarında İstanbul'daki mevcutları 9406 neferdi. Kendilerine üç ayda bir "ulufe" adıyla maaş verilirdi. Yeniçeriler ve diğer kapıkulu askerleri sefere gidince İstanbul'un asayişinden acemi oğlanları sorumlu tutulurdu. Kanûnî Sultan Süleyman zamanından itibaren ulufeleri dışında kendilerine üç ayda bir "âdet-i zerpûl" adıyla ayda 5 akçe pabuç parası in'âm edilirdi. Ayrıca yılda iki defa elbise veya bunun karşılığı nakit verilirdi. Yayalar için ise top talimi başta olmak üzere, kat kat bükülmüş teller üstüne sarılmış keçeyi kılıç darbesiyle ikiye bölmek gibi eğitimler alırlardı. Yeteneğe göre buralarda sanata dair derslerin de verildiği bilinmektedir. Acemi oğlanlarına askerlik eğitiminin yanı sıra okuma yazma, dinî bilgiler, sağlık eğitimi gibi dersler de verilirdi (bk. Kanûnî Sultan Süleyman).

Acemi oğlanlarının kendilerine özgü kıyafetleri olurdu. Dolama adıyla üst elbisesi, bellerinde çizgili kumaştan bir kuşak ve küçük bir hançer, başlarında koni şeklinde bir sarı serpuş ile etrafında ince krepten sarık taşırlardı. Pabuçları arkasız ve bağsızdı.

XIX. yüzyılın ilk çeyreğinde II. Mahmud Yeniçeri Ocağı'nı kaldırırken Acemi Ocağı'nı da lağvetti ve bundan böyle İstanbul ağasının unvanı "hatab emini" olarak değiştirildi. İstanbul'da Şehzadebaşı'ndaki kışlaları ise yeni kurulan Asâkir-i Mansûre-yi Muhammediye için talimhane adıyla eğitim yuvası haline getirildi.