Nama Al-Mutawally diambil dari Abah/Buyut Mutawally atau Sirajurrosyidin yang pada masa penjajahan Belanda merupakan pejuang kemerdekaan yang disegani dan ditakuti oleh Penjajah Belanda. Kebesaran namanya semakin harum karena banyaknya orang dari berbagai kota, terutama daerah Pekalongan, Tegal dan daerah sekitarnya, yang berguru atau menjadi santri Abah Mutawally. Beliau meninggal dunia pada tahun 1957, dan setelah itu anak keturunannya tidak dapat melanjutkan estafeta keilmuan dan kepemimpinannya dikarenakan situasi dan kondisi  saat itu yang tidak stabil. Akibatnya, pondok pesantren yang didirikan dan dibesarkan oleh Abah Mutawally tidak bisa bertahan. Hanya Musholla yang bernama Sirajurrasyidin yang masih bertahan. 

Pada tahun 1989, atas dasar kesadaran dan semangat juang untuk menegakkan Syariat Islam dan melanjutkan semangat juang Abah Mutawally, berkumpullah cucu, cicit, buyut Abah Mutawally dan bersepakat untuk mendirikan Yayasan Al-Mutawally yang bergerak dalam bidang Pendidikan, Dakwah dan Ibadah Sosial. Pada tahun 1990, berdirilah sebuah bangunan yang terdiri 6 kamar yang menjadi cikal bakal Pesantren Al-Mutawally. Namun, karena keterbatasan dana dan sumber daya manusia yang mengelolanya, pemanfaatan terhadap bangunan tersebut belum berjalan maksimal, sehingga kegiatan yang ada hanyalah pengajian yang berjalan seperti di musholla-musholla, yakni pengajian Al-Qur’an Tajwid saja dengan diikuti oleh + 10 santri kalong karena mereka tidak mondok dan menetap secara permanen.

Pada tahun 1991, Yayasan Al-Mutawally di bawah kepemimpinan Drs. KH. Nunung Abdullah Dunun -yang baru pulang dari Tanah Suci Makkah untuk melaksanakan Ibadah Haji- memulai upaya-upaya terobosan untuk memajukan pesantren, yakni dengan mendirikan lembaga formal SMP Islam Al-Mutawally yang saat pertama kali siswanya berjumlah 10 orang, dan keadaan statis ini berjalan sampai dengan tahun 1994-1995 yang jumlah siswa seluruhnya 30 orang dengan tidak diwajibkan tinggal di pesantren, sehingga yang mengikuti pengajian hanya berjumlah 10 orang santri kalong.

Pada tahun ajaran 1995-1996, pengurus yayasan melakukan terobosan radikal ketika mengubah SMP Islam Al-Mutawally menjadi MTs Al-Mutawally dan siswa yang direkrut adalah anak-anak dari keluarga kurang mampu atau anak yatim/piatu yang berjumlah 30 orang dan semuanya diwajibkan menetap di pesantren. Maka sejak saat itu, sistem pesantren mulai berjalan karena adanya santri yang menetap di asrama.

Pada tahun ajaran 2002/2003, kembali yayasan melakukan terobosan dengan mendirikan Madrasah Aliyah (MA) dengan spesialisasi program keagamaan (MAK). Seiring dengan terbitnya beberapa aturan sebagai tindak lanjut dari UU no. 20 tahun 2003 tentang Sistem Pendidikan Nasional dan sebagai upaya mensinergikan antara pesantren dan madrasah, mulai tahun ajaran 2006/2007, spesialisasi madrasah berubah menjadi program Bahasa. Namun karena pemerintah tidak mengakui Bahasa Arab sebagai salah satu prsyarat bagi program ini, program studi MA berubah menjadi progrm Ilmu Pengetahun Sosial (IPS).  

Sejak berdirinya hingga akhir tahun ajaran 2007/2008, pesantren dan madrasah berjalan secara terpisah dengan sistem pendidikan mandiri. Namun seiring dengan program rekonstruksi kelembagaan dan sistem pendidikan, mulai tahun ajaran 2008/2009 pesantren dan madrasah diintegrasikan di bawah satu struktur organisasi yang disebut Kuliyatul Mu’allimin Al-Mutawally atau disingkat dengan KMA. 

Sistem pendidikan di Pesantren Al-Mutawally menggunakan sistem terpadu antara sistem modern dan sistem salafi. Dalam sistem modern, Pesantren Al-Mutawally memberikan materi dua bahasa, bahasa Arab dan Inggris ditambah dengan pemberian wawasan keagamaan yang tidak fanatik madzhab. Sementara dengan sistem salafi, Pesantren Al-Mutawally dalam kegiatan belajar mengajarnya menggunakan sistem bandungan dan atau sorogan yang mengkaji kitab salafi/kuning, di antaranya Jurumiyah, Imrithi, Alfiyah, Sharaf Kaelani, Safinah, Riyadlul Badi’ah, Fathul Qarib, Washoya, Ta’lim al-Muta’allim, Akhlaq al-Banin, Aqo’id Diniyyah, Fathul Majid, Tafsir Jalalain, Mukhtarul Ahadits, Bidayatul Mujtahid, Bulughul Maram, dan lain-lain.

Saat ini, Pesantren Al-Mutawally memiliki santri sebanyak 413 orang santri yang terdiri dari santri laki-laki dan santri perempuan. Seluruh santri ini menempuh pendidikan di Madrasah Tsanawiyah (MTs) dan Madrasah Aliyah (MA) Al-Mutawally. Dalam melaksanakan aktivitasnya, Pesantren Al-Mutawally didukung oleh 25 Mudarris (1 Ph.D Universitas Leiden, 3 magister, 11 S-1, 2 Diploma, dan 8 non sarjana) dan ditunjang dengan berbagai sarana prasarana yang cukup memadai.