Kur'an-ı Kerim'de on beş yerde geçen Mescid-i Haram tabiriyle Kâbe, Kâbe'yi kuşatan ve ibadet için kullanılan alan, Mekke veya Mekke haremi kastedilir. "el-Beyt, el-beytü'l-atîk, el-beytü'l-ma'mûr, el-beytü'l-harâm, el-harem, el-haremü'l-Mekkî, Harem-i şerif, Kâbe ve durâh" tabirleri de Mescid-i Haram'ı ifade eder. Harem-i şerif terkibi ise Medine'deki Mescid-i Nebevî ve Kudüs'teki Mescid-i Aksâ için kullanılmaktadır.
Hz. Peygamber İslamiyet'i tebliğ için yapılan bütün baskılara rağmen yeryüzünde bilinen en eski mescit olarak nitelenen Mescid-i Haram'da (Âl-i İmrân 3/96) namaz kılmıştır. Hz. Ömer'in İslamiyet'i kabul etmesinden sonra müslümanlar Mescid-i Haram'da açıktan namaz kılmaya başlamışlardır. Mekke'nin fethi üzerine Resûl-i Ekrem fetih konuşmasını Mescid-i Haram'da yapmış ve oraya sığınanların emniyette olacağını bildirmiştir.
Mescid-i Haram, İslam öncesi dönemde de Kâbe'yi kuşatan alan siyasî ve içtimaî bütün hayatın merkezi konumunda idi. Hz. Ömer ve Hz. Osman döneminde çevresi genişletilmiş, etrafı göğüs hizasında bir duvarla çevrilmiştir. Emevî Halifesi Abdülmelik ve I. Velîd dönemindeki ilavelerle birlikte Mescid-i Haram'ın alanı 10.270 m2'ye ulaştı. Yapı mermerle kaplandı ve ilk defa bir minber konuldu ve bir minare ilave edildi. Abbâsî Halifesi Mehdî-Billâh (781) hac için Mekke'ye geldiğinde Kâbe'nin Mescid-i Haram'ın ortasında yer almadığını görünce Kâbe'yi merkeze alacak şekilde bir genişletme daha yapılmasını istedi.
Kanûnî Sultan Süleyman devrinde Mescid-i Haram'ın kapılarının eşikleri taş basamaklarla yükseltildi ve 1525, 1540, 1552 yıllarında yapılan tamirlerle Mescid-i Haram'ın direkleri ve revakları büyük oranda yenilendi, kapıları onarıldı. Metafın taş döşemeleri değiştirildi, birkaç minaresi ve mezheplere ait makamlar yeniden inşa edildi. Ayrıca muhtelif renkte taşlarla kakma tezyinatı olan ve kubbesiyle yüksekliği 12 metreyi bulan bir mimber eklendi.
Osmanlı devrinde Mescid-i Haram mimari açıdan nihai şeklini II. Selim ve III. Murad zamanında almıştır. 1576 yılında klasik dönem Osmanlı mimari üslubuna göre düzenlenen Harem-i Şerif'in eski düz ahşap çatısı yerine çok sayıda mahrûtî kubbe inşa edildi. İstanbul ve Mısır'da hazırlanan malzemenin dışında 110.000 dinar harcanan bu çalışmalarda avlunun açık bir alan olması özelliği korunurken, ikinci bir iç avluya bir dizi revakla geçen küçük çaplı müzehhep alemli kubbeler kullanıldı. Harem-i Şerif'in doğu duvarı başta olmak üzere çeşitli yerleri hüsnühat örnekleriyle tezyin edildi. Avlunun ve iç kısma geçilen ilk direklerin üst taraflarına her beş direkte Hz. Peygamber'in ismi gelecek şekilde istifler yapıldı ve kapıların üzerine Mescid-i Haram ile ilgili âyetler hakkedildi. Kanûnî Sultan Süleyman devrinde başlanan, metaf ile ana kapıların bulunduğu yerlerin mermerle döşenmesi işi III. Murad zamanında (1574-1595) tamamlandı.
1612 yılında I. Ahmed, Kâbe'nin altın oluğunu yeniledi ve Zemzem Kuyusu'nun giriş kısmına demir bir kafes yaptırdı. IV. Murad, 1629-30'da büyük bir sel sonucu bazı taşları yerinden oynayan Kâbe'yi tamir ettirdi. IV. Mehmed mescidin yedi minaresini onarttı, metafın sahasını genişleterek buraya yontma taş döşetti. Safâ ve Merve arasına kandiller koydurdu. II. Mustafa zamanında (1695-1703) Hacerülesved'in mahfazası, Kâbe tavanını tutan direkleri ve yüzeye inen merdiveni yenilendi. III. Ahmed metafın döşemelerini değiştirtti, I. Mahmud yeni avizeler ve şamdanlar gönderdi. I. Abdülhamid Makam-ı İbrâhim, Makam-ı Şâfiî, umre kapısındaki minare ve Kâbe'de tamirler yaptırdı. Bu sırada metaftan sonra namaz kılınan alanlar yeniden planlandı. Sultan Abdülmecid zamanında Harem içinde kandil asılması için dört tarafa hurma şeklinde direkler diktirildi. Kubbe altlarına, iç ve dış bölümlere kandiller astırıldı. Mescidin eskiyen kısımları, Hacerülesved'in gümüş mahfazası ve Kâbe'nin altın oluğu yenilendi. 1916'da Sultan Mehmed Reşad mescidin genel bir tamirinin yapılmasını istediyse de I. Dünya Savaşı yüzünden bu yarım kaldı.
Muâviye'den önce Mescid-i Haram'da halife ve valiler Kâbe'nin önünde Hatîm'in üzerine çıkıp hutbe okuyorlardı. Muâviye döneminde Şam'dan getirilen üç basamaklı bir mimber Makam-ı İbrâhim'in sağ tarafına konularak hutbelerde kullanılmaya başlandı. Abbâsî halifeleri, Memlük ve Osmanlı sultanları Mescid-i Haram'a çeşitli mimberler hediye ettiler. Fıkıh mezheplerinin ortaya çıkışından sonra farklı mezhep mensupları kendilerine ayrılan yerlerde cemaatle namaz kıldılar. Mescid-i Haram'a XI. yüzyılda konulmaya başlandığı tahmin edilen dört Sünnî mezheple Zeydî mezhebi imamlarına ayrılmış beş adet makam vardı.
Mescid-i Haram'ın XX. yüzyılın başlarında çekilen ilk fotoğraflarında mezheplere ait makamlar, Makam-ı İbrâhim, minber, zemzem binası, Bâbüsselâm ve biri muvakkithane, diğeri kütüphane olarak kullanılan iki kubbe (kubbeteyn) görünmektedir. Günümüzde bu mezheplere ait makamlarla Bâbüsselâm kaldırılmıştır.
Bilhassa hac mevsimlerinde dünya müslümanları için toplantı ve buluşma yeri ve ilim merkezi olma özelliğini asırlardır koruyan Mescid-i Haram'da tarihi boyunca günün her saatinde büyük bir hareketlilik yaşanmıştır. Mekke'de birçok medrese bulunmakla birlikte Mescid-i Haram'ın eğitim öğretim hayatında ayrı bir yeri olmuştur. Evliya Çelebi Harem-i Şerif'in etrafında, aralarında Kayıtbay Medresesi gibi Mescid-i Haram'a bakan ve hac mevsimlerinde ribat olarak kullanılan kırk adet medrese bulunduğunu kaydeder. Tarih boyunca Harem-i Şerif'in harimiyle avlu ve revaklarında çeşitli ders halkaları kurulmuş, hac mevsimlerinde İslam dünyasının her tarafından gelen âlimler bu derslere katılmaya özen göstermiştir. Hac mevsimlerinde İslam dünyasının çeşitli yerlerinden gelen âlimlere Mescid-i Haram'da fetva sorulması bir gelenekti. Burada yapılan ilmî müzakere ve tartışmalar İslamî ilimlerin oluşumuna önemli katkılar sağlamıştır.
Bir saldırıya uğramadıkça Mescid-i Haram'da silahlı çatışmaya girişmeyi yasaklayan âyete dayanarak (Bakara 2/191) Harem-i Şerif'in siyasî amaçlar için kullanılması uygun bulunmamıştır. Ancak bunun dikkate alınmadığı, Mescid-i Haram'ın dinî ve ilmî fonksiyonunun yanında siyasî hayatta da önemli rol oynadığı, siyasî mücadele ve çatışmalara sahne olduğu çeşitli vakalar görülmüştür.
Abbâsîler döneminde Mescid-i Haram'ın bakım ve onarımıyla burada yürütülen dinî hizmetlerin, eğitim öğretim faaliyetlerinin masrafları Bağdat'ta kurulan Dîvânü'n-nafakat'tan karşılanmıştır. Ayrıca Hârûnürreşîd'den itibaren Mescid-i Haram'a yapılacak her türlü masraf için Mısır, Suriye ve Anadolu gibi bölgelerde vakıflar tahsis edilmiş, zamanla ortadan kalkan bazı vakıfların yerine yenileri kurulmuştur.
Resûl-i Ekrem zamanından Osmanlılar'a kadar Mescid-i Haram'ın idaresi Mekke veya Haremeyn valileri yahut onların görevlendirdiği Mekke kadısı veya muhtesipleri tarafından üstlenilmiş, Mekke Osmanlı idaresine geçince Harem-i Şerif'in işlerine vali adına onun tayin ettiği nâibülharem bakmaya başlamıştır. Osmanlı padişahlarının Mekke'deki temsilcisi olan şeyhülharem de Mescid-i Haram'ın yönetimine katılırdı. Tanzimat'tan sonra yapılan düzenlemelerle birlikte Mescid-i Haram'ın işleri Mekke emîriyle iş birliği halinde bulunan Mekke müftüsü, şeyhülharem ve Harem-i şerif müdürü eliyle yürütülmüştür.
