Selanik'te dünyaya geldi. 1912 yılında patlak veren Balkan savaşlarının tetiklediği göç dalgasıyla ailesiyle birlikte Selanik'ten sonra sırasıyla İstanbul, Kastamonu, Ankara, Adana ve İzmir'de bulundu. İstanbul'da Alliance Mektebi ve ardından Beşiktaş Sultânîsi'ne başladığı (1917) eğitimini, ilkokulun beşinci sınıfında geldiği İzmir Sultânîsi'nde sürdürdü. Matematiğe olan ilgisi bu okulda bir öğretmenin ona Öklid geometrisiyle ilgili teoremlerin ispatlarını yaptırmasıyla başladı. İzmir Sultânîsi'nin orta kısmını bitirdikten sonra lise eğitimini almak üzere Fransa'ya gönderildi (1926). Paris'teki üç yıllık Lycee Saint Louis Lisesi'ni iki yılda bitirdikten sonra Maarif Vekâleti'nin o yıl açtığı Avrupa sınavlarını kazanarak yine Fransa'da Ecole Normale Superior'a (öğretmenlik okulu) kaydoldu. İki yıl bu okulda öğrenim gördükten sonra Galatasaray Lisesi'nde matematik öğretmenliği yapmaya başladı. Burada bir yıl görev yaptıktan sonra doçent adayı olarak İstanbul Üniversitesi Fen Fakültesi'nde görevlendirildi (1933).

Askerlik hizmetini yerine getirdikten sonra Almanya'daki Göttingen Üniversitesi Matematik Bölümü'ne doktorasını yapmak üzere gitti. H. Hasse danışmanlığında literatüre "Hasse-Arf teoremi"ni kazandırdığı doktora çalışmasını bir yılda tamamladı (1938). İzin alarak bir yıl daha Göttingen Üniversitesi'nde kalan Arf, karakteristiği iki olan cisimler üzerindeki kuadratik formları sınıflandırmaya yarayan değişmezleri inşa etti. Bu değişmezler matematik literatüründe Arf invaryantları olarak bilinmektedir. II. Dünya Savaşı'nın yaklaştığı günlerde (1939) İstanbul'a döndükten sonra o dönem Türkiye'de yaşayan İngiliz matematikçi Patrick du Val'in eğrilerle ilgili bir problemine cebirsel olarak çözüm getirdi ve bu çalışmasında "Arf halkaları" ve "Arf kapanışları" ortaya çıktı. Cahit Arf otuz üç yaşında profesör oldu (1943). 1944 yılında II. Dünya Savaşı dolayısıyla tekrar askere çağrıldı. Kendi deyimiyle daha sonraları öz eleştiride bulunacağı, alkış alma motivasyonuyla Mustafa İnan'ın üzerinde çalıştığı Belçika'da yıkılan bir köprüyle ilgili probleme getirdiği çözümler sayesinde 1948 yılında İnönü ödülüne layık görüldü. Bir yıl süreyle Amerika'daki Princeton Üniversitesi'nde misafir öğretim üyesi olarak bulundu (1949). Cahit Arf'a 1955 yılında İstanbul Üniversitesi Senatosu tarafından "ordinaryüs profesör" unvanı verildi. Bu yıllarda İstanbul Teknik Üniversitesi'nde misafir hocalığa devam etti, aynı zamanda Robert Kolej'de de yarı zamanlı çalışmaya başladı.

1960 darbesinden sonra Millî Birlik Komitesi tarafından bilimsel ve teknik alanlarla ilgili bir araştırma komisyonuna çağırıldı. Bu komisyonda Türkiye Bilimsel ve Teknik Araştırma Kurumu'nun (TÜBİTAK) kuruluşu aşamasında katkı sağladı ve Bilim Kurulu'nun ilk başkanlığı görevini üstlendi. 1962 yılında emekliliğini isteyen Arf, Robert Kolej'den gelen tam zamanlı profesörlük teklifini kabul etti. 1964 yılında ikinci defa Princeton Üniversitesi'nden davet alarak iki yıllığına Amerika'ya gittti, bir yıl da Berkeley'de kaldı. Türkiye'ye döndükten sonra on üç yıl Orta Doğu Teknik Üniversitesi'nde (ODTÜ) görev yaptı. 1974 yılında TÜBİTAK Bilim ödülüne layık görüldü. 1980 yılında yaş haddinden Orta Doğu Teknik Üniversitesi'nden ikinci defa emekli olan Arf'a, İstanbul Teknik Üniversitesi, Karadeniz Teknik Üniversitesi ve Orta Doğu Teknik Üniversitesi onur doktorası tevdi etti. Emekliliğinden sonra Gebze'deki TÜBİTAK Marmara Araştırma Merkezi'nde gönüllü olarak çalışmalarına devam etti. 1986-1989 yılları arasında Türk Matematik Derneği başkanlığını üstlendi. 1993 yılında Türkiye Bilimler Akademisi Cahit Arf'ı şeref üyesi seçti; 1994 yılında ise kendisine Fransız Commandeur des Palmes Academiques nişanı verildi. 26 Aralık 1997'de seksen yedi yaşında vefat etti.

Cahit Arf eğitimde ezberci yaklaşıma karşı anlamaya dayalı bir usulü savunmuş hem öğrenmede hem de öğretmede en önemli unsurun anlamak olduğunu vurgulamıştır. Okuduğunu belleyen, bellediğini okuyan düşünceden yoksun bir eğitim öğretim sürecinin karşısındadır. Bu bakımdan bir bilgiyi öğrenirken o bilgiyi yeniden keşfedercesine öğrenmeyi önermiştir. Matematikle hemen hemen her alanın birebir ilişkili olduğunu belirterek üretilen bilgiyi farklı alanlara yansıtıp toplumun hizmetine sunabilmeyi gelişimin ve kalkınmanın şartı olarak değerlendirmiştir. Bilimsel bilgilerin gerçek hayata uygulanmasıyla değer kazanacağını savunan Cahit Arf, bu yüzden uygulamalı bilimlerle de yakından ilgilenmiş, sadece uzmanlaştığı alan üzerinde değil, farklı alanlarda hayat boyu öğrenciliği benimsemiştir. Özellikle mühendislik problemlerine matematiksel bakış açısıyla çözümler üretmiştir. Bununla birlikte özgürlüğü ön yargılardan kurtulma düzleminde ele almış, şartların doğal özgürlükleri kısıtladığı ortamlarda bile iç özgürlüğün kişiye sunabileceği pek çok imkân olduğunu belirtmiştir. Dolayısıyla eğitime dair bakış açısı bu yorumlamadan bağımsız değildir. Üniversitelerin ise bilimsel özerkliğe sahip olması gerektiğini savunmuştur. Bilimle uğraşan kişilerin rütbe peşinde değil bilim peşinde koşmaları gerektiği ve işlerinin "anlamak" olduğu düşüncesindedir. Üniversitelerin yeri geldiğinde toplumun benimsediği değerlerden bağımsız olarak objektif bir şekilde evreni bütün yönleriyle anlama gayretinde olması gerektiğini belirterek; tek tip üniversite anlayışını eleştirmiştir.

Cahit Arf'ın matematik alanında dünya çapında bir tanınırlığa erişmesine karşın yayımlanmış makale sayısı nispeten azdır. Onunla birlikte çalışma fırsatı yakalayan kişiler bu durumu mükemmeliyetçi kişiliğine bağlamaktadır (Terzioğlu ve Yılmaz, 2006). Meslektaşları, birçok matematikçiye ve farklı alanlardaki bilim insanlarına ilham kaynağı olmasına rağmen, Cahit Arf'ın resmî olarak bir doktora öğrencisi bulunmaktadır. 1 Ocak 2009 tarihinde tedavüle çıkan emisyon 9 grubundaki 10 Türk lirasının arka yüzüne, Türkiye Cumhuriyet Merkez Bankası meclis kararı ile Orta Doğu Teknik Üniversitesi'ndeki onur doktorası tevdi töreninin yapıldığı gün meslektaşı Tosun Terzioğlu tarafından çekilen fotoğrafın ve Arf invaryantlarına ait formülün basılması kararlaştırılmıştır (Balkan ve Terzioğlu, 2008).