Sejarah berdirinya UIN Sumatera Utara (UINSU) membutuhkan perjalanan yang cukup panjang. Berlokasi di Medan, dulunya, UINSU masih berstatus institut, yaitu Institut Agama Islam Negeri (IAIN) Sumatera Utara. Keberadaan institut ini, didasari oleh kebutuhan dasar umat Islam dalam upaya mengembangkan syi'ar agama melalui wadah perguruan tinggi yang lebih profesional, sekaligus mampu membantu pemerintah dalam menyiapkan sumber daya insani dan ahli agama Islam.

Kepala Inspeksi Pendidikan Agama Provinsi Sumatera Utara yang saat itu dijabat oleh H. Ibrahim Abdul Halim beserta dengan teman-temannya, berinisiatif untuk mendirikan Fakultas Tarbiyah di Medan. Upaya tersebut pun mampu melahirkan Panitia Pendirian Fakultas Tarbiyah Persiapan IAIN. Sejalan dengan itu, Yayasan K.H. Zainul Arifin (milik Nahdlatul Ulama) membuka Fakultas Syari’ah pada tahun 1967.

Meskipun begitu, Menteri Agama RI meresmikan Fakultas Tarbiyah dan Fakultas Syari’ah sebagai fakultas cabang dari IAIN Ar-Raniry Banda Aceh. Namun, semangat dan tekad untuk memperoleh IAIN yang berdiri sendiri di Medan tetap menjadi idaman setiap warga masyarakat, organisasi-organisasi agama, organisasi pemuda dan mahasiswa terutama dari pimpinan IAIN Cabang Medan.

Singkat cerita, Pemerintah Daerah dan Departemen Agama RI merespon perwujudan IAIN untuk berdiri secara mandiri di Medan. Tak berselang lama, mulai dipersiapkan tenaga administrasi, tenaga dosen, perpustakaan, gedung perkuliahan, dan sarana penunjang lainnya. Setelah persiapan selesai, IAIN Sumatera Utara resmi berdiri pada 19 November 1973 di Medan.