Sejarah PGMI tak bisa dilepaskan dari sejarah institusional STAIN Salatiga yang awalnya adalah Fakultas Tarbiyah. Pilihan sebagai “tarbiyah” sejak awal berdiri menunjukkan keunikan lembaga ini dibandingkan dengan beberapa STAIN lain di Jawa Tengah. Berkait dengan Pendidikan Guru MI maka ada tiga periode sejarah yang dilewatinya. Pertama, periode awal berdiri tahun 1969 sampai tahun 1990, Fakultas Tarbiyah Salatiga adalah bagian dari IAIN Walisongo Semarang yang spesifik terfokus menyiapkan guru agama Islam di madrasah dan sekolah. Jenjang pendidikan yang ditempuh adalah Sarjana Muda dan Strata satu (S.1) Pendidikan Agama Islam, dan Pendidikan Bahasa Arab saja. PGMI, belum menjadi pilihan sasaran program di masa itu.
Periode kedua merupakan akar kelahiran PGMI yang berawal ketika pada tahun 1990 mulai dibuka program Diploma II program penyiapan guru kelas untuk Madrasah Ibtidaiyah dan Program guru agama Islam untuk SD/MI. Kelahiran jenjang pendidikan diploma dua (D II) tersebut dimaksudkan sebagai jawaban atas Undang-Undang Nomor 2 Tahun 1989 tentang Sistem Pendidikan Nasional. Keberadaan PGKMI/SD di Fakultas Tarbiyah IAIN Walisongo Salatiga terus berlanjut hingga saat ada perubahan status Fakultas Tarbiyah menjadi STAIN Salatiga pada tahun 1997. Di saat itu, PGKMI/SD merupakan bagian progdi DII dari jurusan Tarbiyah STAIN Salatiga.
Periode ketiga dimulai ketika tahun 2005 yang secara yuridis adalah masa peralihan dari benih yang telah disemai sejak bulan Juli tahun 2003, yaitu dalam Undang-Undang Republik Indonesia Nomor 20 tentang Sistem Pendidikan Nasional. Kehadiran Peraturan Pemerintah Republik Indonesia Nomor 19 Tahun 2005 tentang Standar Nasional Pendidikan memberi sinyal kuat bagi semua Lembaga Pendidikan Tenaga Kependidikan (LPTK) untuk merubah sistem. Sinyal tersebut semakin kuat di penghujung tahun 2005 dengan kelahiran Undang-Undang Republik Indonesia Nomor 14 tentang Guru dan Dosen. Titik penting undang-undang ini adalah adanya keharusan semua guru adalah lulusan Strata 1. Imbasnya adalah adanya keputusan pemerintah untuk menghentikan pengadaan program Diploma II bidang kependidikan. STAIN Salatiga yang sejak awal berdiri commited terhadap persoalan keguruan tentu secara fitrah tergerak menjawab sinyal yuridis tersebut. Naskah akademik ini adalah representasi artikulasinya. Hal ini menjadikan pijakan untuk memulai kerja keras para pengelola dan senat STAIN Salatiga yang menghasilkan usulan pengajuan pendirian Program Studi PGMI Strata 1 pada tahun 2006. Dan akhirnya, turunlah surat izin penyelenggaraan Program Studi PGMI yang memulai aktifitasnya pada tahun 2007. Pada periode pertama Program Studi PGMI Strata 1 dipimpin oleh Kajur Drs. Ahmad Sultoni, M.Pd. dan sekretaris Jurusan Ari Setiawan, M.M. (2007 sd 2010). Selanjutnya pada periode tahun 2010 sd 2014 dipimpin oleh Drs. Sumarno Widjadipa sebagai Kajur dan Miftachur Rif’ah, M.Ag sebagai sekretaris jurusan. Pada tahun 2014 sd 2015 Jurusan PGMI di pimpin oleh Peni Susapti, M.Si sebagai Ketua Jurusan dan Sari Famularsih, M.Sc. sebagai sekretaris Jurusan. Selanjutnya pada tahun 2015 terjadi perubahan status STAIN Salatiga menjadi IAIN Salatiga, Nama jurusan diganti Prodi, Ketua Jurusan PGMI diganti Kepala Prodi. Kepala Prodi PGMI tetap dipimpin oleh Peni Susapti, M.Si. dan sekretaris Jurusan dijabat oleh Sari Famularsih, M.Sc. dari tahun 2015 sd 2019. Selanjutnya kaprodi PGMI dijabat oleh Dr. Peni Susapti, M.Si. dan sekretaris Jurusan oleh Dra. Nur Hasanah, M.Pd. dari tahun 2019 sd 2023.