Bitlis'te dünyaya geldi. Annesi Cemile Hanım ve babası Hoca Mehmed Mirza Efendi'dir. İlkokulu babasının müftü olduğu Doğubayazıt'ta, ortaokul ve liseyi yatılı olarak Erzurum'da okudu ve 1942 yılında liseden mezun oldu. 1943 yılında üniversite eğitimi görmek maksadıyla İstanbul'a gitti. Başlangıçta niyeti mühendislik eğitimi almak olsa da İstanbul Üniversitesi Edebiyat Fakültesi Şarkiyat Enstitüsü'nün kurucusu olan oryantalist Hellmut Ritter'in bir seminerine katılmasıyla fikri değişti. İstanbul Üniversitesi Edebiyat Fakültesi Arap ve Fars Filolojisi Bölümü'ne kaydolarak Ritter'in öğrencisi oldu. Ritter onun doğa bilimleri ve en çok da matematik üzerine çalışması gerektiğini söyledi. Bütün bu bilimlerde İslam âlimlerinin önemli çalışmaları ve büyük katkılarının bulunduğunu farketmesi Sezgin'in çalışma alanını belirlemesinde etkili oldu. Ritter'in teşvikiyle dil öğrenimine de yoğunlaştı ve kendi ifadesiyle Arapça'ya ana dili gibi hâkim oldu. Arapça'nın ardından Almanca, Latince, Yunanca, İbrânîce ve Farsça da öğrendi. Süleymaniye Kütüphanesi'nde yazma eserler üzerinde çalışmaya başlayarak burada İslam âlimleri ve onların çalışmalarını inceledi. 1947 yılında İstanbul Üniversitesi Arap ve Fars Dili Filolojisi Bölümü'nden Bedî' İlminin Tekâmülü ve İstanbul'da Bulunan Bedîiyyat Yazmalar Kataloğu başlıklı bitirme teziyle mezun oldu. Ardından üniversitenin kütüphanesinde memur olarak göreve başladı. Hocası Ritter'in önerisiyle seçtiği doktora konusu olan Ma'mer b. Müsennâ'nın Mecâzü'l-Kur'ân isimli eseriyle ilgili doktora tezi için çalışmalarını sürdürdü. 1950 yılında Ankara Üniversitesi İlahiyat Fakültesi'nde Muhammed Tayyib Okiç'in asistanı oldu. Bundan bir yıl sonra, 1956 yılında yayımlanacak Buhârî'nin Kaynakları başlıklı doçentlik takdim tezine başladı. Bu tezi seçmesinin sebebi Buhârî'nin derlediği hadislerde salt sözlü kaynaklardan faydalandığına yönelik varsayımın doğru olmadığına dair kanaatiydi (bk. Buhârî). O dönemde bu konudaki uzmanların paylaştığı yaygın görüş buydu. Sezgin ise İslam toplumunun üç yüzyıl boyunca rivayetleri yazmayı düşünemeyen bir toplum olamayacağını düşünüyordu. Bu sebeple Buhârî'nin yazılı kaynaklardan faydalandığını ve bu kaynakların İslam'ın erken dönemlerine kadar geri götürülebileceğini ortaya çıkartan bir çalışma ortaya koydu. 1953 yılında, İstanbul Üniversitesi Edebiyat Fakültesi İslam Araştırmaları Enstitüsü Umumi Türk Tarihi Kürsüsü'ne asistan oldu. Alexander von Humboldt Vakfı'nın bursunu kazanarak 1957-1958 yıllarında Almanya'da bulundu. 1960 yılında gerçekleşen askerî darbe neticesinde üniversiteden ayrılmak durumunda kaldı ve çalışmalarını sürdürmek üzere yurt dışına gitmeye karar verdi. Bir süre Almanya'da Frankfurt Goethe Üniversitesi'nde ders verdi, ardından Marburg Üniversitesi'ne geçti. Ancak bilim tarihi esas ilgi alanı olduğundan ve Bilimler Tarihi Enstitüsü de Frankfurt Goethe Üniversitesi'nde bulunduğundan 1961 ile 1965 yılları arasında misafir doçent olarak burada dersler verdi, 1966 yılında bilimler tarihi alanında profesör oldu. 1965 yılında mühtedi bir oryantalist olan Ursula Stein ile evlendi. Ursula Sezgin, ömrünün sonuna kadar akademik çalışmalarında ona destek olmuştur. 1970 yılında Hilal isminde bir kızları dünyaya gelmiştir.

Fuat Sezgin 1944 yılında henüz öğrenciyken C. Brockelmann'ın Geschichte der arabischen Litteratur (GAL) adlı Arapça yazma eserler literatürüne dair bibliyografik eserinde farkettiği eksiklikleri tamamlamak üzere 1954 yılında bir zeyil yazmaya karar verdi. Araştırmaları sırasında ortaya koyacağı çalışmanın bir zeyil olması fikrinden vazgeçti. Bunun yerine Brockelmann'ın eserinden bağımsız bir eser meydana getirmek için dünyadaki bütün kütüphanelerde bulunan yazma eserleri kapsayacak bir çalışma ortaya koymak istiyordu. Altmış ülkenin kütüphanelerini araştırıp 400.000 civarında yazma eser inceledi. Titizlikle gerçekleştirdiği çalışmalarının sonucunda ortaya koyduğu bu eser onun Geschichte des arabischen Schrifttums (GAS) başlıklı yapıtı oldu. On yedi ciltlik bu eserin I. cildi 1967, son cildi 2015 yılında yayımlandı. İslam tarihinin başından beri ilimlerin tamamına ait literatürü ele alan bu çalışmanın konu başlıkları şöyledir: Kur'an ilimleri, hadis, fıkıh, kelam, tasavvuf, tarih, şiir, tıp, veterinerlik, zooloji, farmakoloji, kimya, matematik, astronomi, dil bilgisi, coğrafya, haritacılık. Eserdeki konu başlıkları bunlarla sınırlı değildir; İslam bilim ve düşünce tarihinde eser verilmiş bütün konuları kapsamaktadır.

Dünya ilim çevrelerinin ancak geniş katılımlı bir uzmanlar topluluğu tarafından gerçekleştirilebileceğini düşündüğü böyle devasa bir çalışmayı tek başına başarabilen Fuat Sezgin, 1978 yılında Kral Faysal Vakfı tarafından ilk defa verilen İslamî İlimler ödülüne layık görüldü.

Sezgin bundan sonra bir enstitü kurma fikrine yoğunlaştı. Onun İslam bilim tarihine yönelik bir enstitü kurma fikri ise Avrupa'da bu çalışmaların seyriyle yakından ilintiliydi. Alman oryantalist ve matematikçi Franz Woepcke ile birlikte İslam bilim tarihi çalışmaları artık önem kazanmaya başlamış ve Almanya'ya intikal etmişti. Daha sonra bu alanda Almanya'da İslam bilim tarihçisi ve fizikçi Eilhard Wiedemann İslam bilim tarihi üzerine çokça çalışma yapmıştı. Onun İslam bilim tarihi alanındaki ekolü varlığını bir süre korumuştu. Yine de Sezgin, İslam bilim tarihine yönelik devamlılık gösteren bir çalışma görmüyordu. Bu alanda Avrupa'da yalnızca kişilerin ilgi ve inisiyatifi doğrultusunda kesintili biçimde sürdürülen çalışmalar söz konusuydu. Sezgin bunun giderilmesi için bir İslam bilim tarihi enstitüsü kurmaya karar verdi. Ancak bu enstitünün varlığını sürdürebilmesi için öncelikle bu kurumu finanse edebilecek bir vakfa ihtiyaç vardı. Bu sebeple ilk etapta bir vakıf kurmak için harekete geçti. Küveyt Devleti'nden aldığı destekle 1981'de vakfı kurmayı başardı. Kral Faysal ödülünden elde ettiği maddi desteği de vakfın kurulması sürecinde harcadı. 1982 yılında da Institut für Geschichte der Arabisch-Islamischen Wissenschaften'ı kurdu. Amacı İslam bilim tarihi çalışmalarının sınırlarının genişletilmesi ve bilim tarihinde İslam medeniyetinin yerini ve etkisini doğru biçimde tanıtmaktı. Bunun için bir müze kurma fikri de bu projeler arasındaydı. Bu maksatla 1983 yılında Frankfurt'ta İslam Bilim ve Teknoloji Tarihi Müzesi'ni kurdu. 2003 yılına gelindiğinde 800'den fazla bilimsel aletin yapılması tamamlandı. Aynı zamanda Sezgin bu yapıda dünyanın çeşitli yerlerinden topladığı 45.000 eseri barındıran bir Bilimler Tarihi Kütüphanesi de kurdu. Fuat Sezgin bu müzelerden birini İstanbul'da kurmak üzere çalışmalara başladı. İstanbul Büyükşehir Belediyesi, Gülhane Parkı içerisinde yer alan Istabl-ı Âmire binasını bu amaçla tahsis etti ve 2008 yılında İslam Bilim ve Teknoloji Tarihi Müzesi açıldı. Müzede sergilenen bilimsel aletlerin büyük bir kısmı Frankfurt'taki enstitüden getirildi. Sezgin, müzelerde sergilenen bu bilimsel aletlerin tanıtılması amacıyla beş ciltten oluşan "İslam'da Bilim ve Teknik" katalog çalışması hazırladı. Bu çalışma Türkçe, İngilizce, Almanca ve Fransızca olarak yayımlandı (bk. Arap İslam Bilimler Enstitüsü).

Bundan sonra Fuat Sezgin öncülüğünde 2010 yılında Prof. Dr. Fuat Sezgin İslam Bilim Tarihi Araştırmaları Vakfı ve 2013'te de Fatih Sultan Mehmet Vakıf Üniversitesi'nde Bilim Tarihi Bölümü kuruldu. Son olarak Gülhane Parkı içerisinde daha önce telgrafhane olarak kullanılan bina restore edildikten sonra burada da 2017 yılında bir bilim tarihi kütüphanesi oluşturuldu ve 2019 yılında Prof. Dr. Fuat Sezgin ve Dr. Ursula Sezgin Bilimler Tarihi Kütüphanesi adıyla tekrar açılışı yapıldı. Fuat Sezgin kütüphaneye getirilecek eserlerin seçiminde bizzat bulunmuş ve büyük çoğunluğunu Frankfurt'taki kütüphanesinden getirtmişti. Sezgin doksan üç yaşında 30 Haziran 2018 tarihinde İstanbul'da vefat etti ve onun öncülüğünde Gülhane Parkı'nda kurulmuş olan İslam Bilim ve Teknoloji Tarihi Müzesi'nin önünde kendisi için mezarı yeri olarak ayrılan bölüme defnedildi.