Lahirnya IAIN Ar-Raniry didahului dengan berdirinya Fakultas Syari'ah pada tahun 1960 dan Fakultas Tarbiyah tahun 1962 sebagai cabang dari IAIN Sunan Kalidjaga Yogyakarta. Di samping itu pada tahun yang sama (1962), didirikan pula Fakultas Ushuluddin sebagai Fakultas swasta di Banda Aceh. Setelah beberapa tahun menjadi cabang dari IAIN Yogyakarta, fakultas-fakultas tersebut berinduk ke IAIN Syarif Hidayatullah Jakarta selama enam bulan sampai IAIN Ar-Raniry diresmikan. Pada saat diresmikan pada tanggal 5 Oktober 1963, dengan dikeluarkannya Keputusan Menteri Agama Republik Indonesia Nomor 89 Tahun 1963.

Sebagai IAIN ketiga di nusantara setelah IAIN Sunan Kalidjaga Yogyakarta dan IAIN Syarif Hidayatullah Jakarta, IAIN Ar-Raniry terus maju dan berkembang. Hal ini terlihat, ketika IAIN Ar-Raniry diresmikan  (5 Oktober  1963) baru memiliki tiga fakultas, yaitu Fakultas  Syari'ah, Fakultas Tarbiyah dan Fakultas Ushuluddin, namun  baru berusia 5 tahun telas diresmikan pula Fakultas Dakwah (tahun 1968) sebagai fakultas dakwah  pertama di lingkungan IAIN di Indonesia. Pada tahun 1968 ini pula,  IAIN Ar-Raniry ditunjuk sebagai induk dari dua fakultas agama berstatus negeri di Medan (cikal bakal IAIN Sumatera Utara) yaitu Fakultas Tarbiyah dan Syari'ah yang berlangsung selama 5 tahun.

Untuk menyamai dengan IAIN-IAIN lain, pada tahun 1983, Fakultas Adab resmi menjadi salah satu dari 5 fakultas di lingkungan IAIN Ar-Raniry.