Anadolu'da yaptırılan ilk medreselerdendir. İlhanlı istilası sırasında Anadolu Selçuklu döneminde 1272-1273 yıllarında Kırşehir'de yaptırılmıştır. Medresenin kurucusu Kırşehir valisi olan Nûreddin Cibrîl b. Caca'dır. Kuruluşu hakkındaki en önemli kaynak, 10 Şevval 670'te düzenlenmiş olan Arapça ve Moğolca vakfiyesidir.

Anadolu'da Türk mimari tarihinin önemli eserlerinden olan Caca Bey Medresesi, kapalı avlulu plan tipinde iki katlı ve üç eyvanlı olarak yapılmıştır. Yapımında taş malzeme kullanılmış ve klasik Selçuklu mimarisinde inşa edilmiştir.  Mimarının kim olduğu bilinmemektedir. Girişinde yüksek bir cümle kapısı yer almakta, medresenin kıble yönünde de küçük bir kapı bulunmaktadır. Cümle kapısının üstünde Selçuklu sülüsü ile yazılmış kitabede medresenin Kılıçarslan'ın oğlu III. Keyhüsrev zamanında ve 1272-73 yılında Nûreddin Cebrâil (Cibrîl) b. Caca tarafından yapıldığı yazılmaktadır. Giriş kemeri üstünde bulunan kitâbede Kur'an-ı Kerim'den bazı âyetler, kapı kemerinin sağ köşesindeki kitabede ise bazı vergilerin kaldırıldığını bildiren bir emirname yer almaktadır.

Caca Bey Medresesi'nin nasıl kullanıldığına dair farklı görüşler bulunmaktadır. Yapının mimari özelliklerinden hareketle burasının gök bilimi (astronomi) üzerine eğitim veren bir medrese olduğu; hatta Anadolu'nun ilk rasathanesi olduğu ileri sürülmektedir (Tarım, 1938). 1947 yılında yapılan bir kazı sonucu kubbenin izdüşümü zemininde 1,80 m. çapında ve 6 m. derinliğinde, iç yüzeyi kısmen kaplanmış bir kuyu bulunmuştur. Ancak bir rasat kuyusu için gerekli olan ve iç duvara bağlı olması gereken basamakların olmadığı, kuyunun çapının da rasat kuyusu için yetersiz olduğu değerlendirilmiştir. Ayrıca medresenin rasathane olarak kullanıldığına dair orijinal bir belgeye ulaşılamamıştır. Semavi Eyice'ye göre gerek vakfiyede gerekse kitabede buranın rasathane olarak kullanıldığına dair herhangi bir işaret yoktur. Ayrıca medresede irili ufaklı hücrelerin olması da medrese olduğuna işaret eder. Zira klasik medrese geleneğinde ana eyvan aksına simetrik bir biçimde eğitim gören öğrencilerin konaklamaları ve çalışmaları için hücreler bulunmaktadır. Yine medresenin sağ ön tarafında yer alan minaresinin rasat amaçlı yapıldığı söylense de kitâbede buranın rasat kulesi olduğuna yönelik bir kanıt bulunmamaktadır. Müslüman dünyasında yapılan rasathanelerin anlatıldığı bir kaynakta Caca Bey Medresesi'ne yer verilmemiştir.

Keza medresenin kuruluş amacına yönelik olarak vakfiyesinde herhangi bir bilgi bulunmamakla birlikte, burada ders gören öğrencilerin uymaları gereken kurallar belirtilmiştir. Bu da binanın eğitim amaçlı inşa edilmiş olma iddiasını güçlendirmektedir. Vakfiyede medresenin ilk hocalarının kimler olduğu ve burada hangi derslerin okutulduğuna dair bilgiler bulunmamaktadır. Ancak dönemin medrese ulemasının tıp ve astronomi hakkında bilgilere sahip oldukları bilinmektedir.

Caca Bey Medresesi, yapıldığı dönem itibariyle klasik bir eğitim kurumu olmakla birlikte XIX. yüzyıl ortalarına doğru bu işlevini kaybetmeye başlamıştır. 1858 yılında Kırşehir'i ziyaret eden A.D. Mordtmann medresenin harap durumda olduğunu ve mühimmat ambarı olarak kullanıldığını yazmıştır. Medresenin XIX. yüzyılın sonlarından itibaren cami olarak kullanıldığı Osmanlı Devlet Arşivleri'nde bulunan 1899 yılına ait "Kırşehir'de Caca Câmi-i Şerifi'nin Tamiri" isimli resmî belgede yer almaktadır. 1907-1908 tarihli Ankara Vilayet Salnamesi'nde de medresenin cami olarak kullanıldığı belirtilmektedir. Medresenin camiye dönüştürülmesi ile birlikte mekân kullanımına yönelik bazı fiziksel ve işlevsel değişiklikler yapılmıştır. Müezzin mahfili, minber ve vaaz kürsüsünün camiye sonradan eklendiği varsayılmaktadır. Medresenin ana eyvanı ve avlusu da erkekler için ibadet mekânı olarak kullanılırken, girişte sağ ve sol tarafta bulunan ve medrese öğrencilerinin kullandığı hücreler kadınlar için ibadet mekanına dönüştürülmüştür. Ayrıca medresenin sağ kısmında bulunan küçük bir hücre camiye ait kitap ve dokümanların bulunduğu kütüphane olarak kullanılmaktadır (Başgül-İlerisoy, 2021). Birçok defa restore edilen ve yeniden ibadete açılan medrese halen bu işlevini sürdürmektedir.