Pada tahun 1961, muncul suatu gagasan dari tokoh-tokoh Islam di Jawa Timur untuk memiliki fakultas-fakultas Islam yang keberadaannya di bawah naungan Departemen Agama (saat ini bernama Kementerian Agama). Untuk merealisasikan cita-cita tersebut, para tokoh mengadakan pertemuan di Jombang, Jawa Timur. Pertemuan tersebut, menghasilkan kesepakatan untuk membuat Perguruan Tinggi Islam. Tak lama, dibentuklah Panitia Pendirian IAIN Cabang Surabaya dengan SK Menteri Nomor 17 Tahun 1961.

Pada tanggal 28 Oktober 1961, dengan SK Menteri Agama RI Nomor 17/1961, diresmikanlah dua fakultas, yaitu Fakultas Syariah di Surabaya dengan Dekan Prof. K.H. A. Sjafi'i Abdul Karim, dan Fakultas Tarbiyah di Malang dengan Dekan Prof. Dr. Moh. Koesno, S.H. Kemudian, pada 1 Oktober 1964, didirikanlah suatu Fakultas Ushuluddin di Kota Kediri dengan SK. Menteri Agama RI Nomor 88/1964 dan Dekan K.H. A. Zaini.

IAIN Cabang Surabaya kemudian diberi nama Institut Agama Islam Negeri (IAIN) Sunan Ampel dan diresmikan pada 5 Juli 1965 berdasarkan SK Menteri Agama Nomor 20 Tahun 1965. Adapun rektor yang menjabat pertama kali ialah Prof. Teungku H. Ismail Ya’qub, S.H., M.A.