Berawal dari kegelisahan para pendahulu persyarikatan Muhammadiyah di Kecamatan Margadana tentang keterbatasan kader-kader militan. Juga susahnya mencari murid di SMP Muhammadiyah 2 Margadana Tegal setiap tahun ajaran baru menjadi pembahasan yang tidak pernah berhenti dan menjadi beban para guru serta menguras tenaga dan fikiran.

Para pendahulu persyarikatan menghendaki berdiri sebuah lembaga keagamaan yang secara intens berkonsentrasi mendidik murid/ santri dalam rangka menciptakan kader-kader persyarikatan yang handal, alim, berakhlakul karimah untuk menguatkan dan mengembangkan organisasi Muhammadiyah khususnya di wilayah Kecamatan Margadana, Kota Tegal dan sekitarnya serta menjadi da’i tangguh yang dapat menjaga kesatuan dan persatuan umat dan bangsa.

Dipilihlah lokasi di Jl. Temanggung RT. 04 RW 04 sebagai tempat yang akan dibangun pesantren. Sebenarnya di lokasi ini sudah ada bangunan lantai 1 berukuran +- 8 x 18 m yang sudah berdiri sekitar tahun 2004. Namun seiring berjalan waktu pemanfaatan ruangan ini kurang maksimal. Hanya digunakan untuk kajian persyarikatan yang intensitasnya 2 atau 3 kali dalam sepekan. Itupun siang hari. Malam harinya nganggur. Juga untuk kegiatan milad dan lain-lain yang sifatnya momentum.

Awal dicetuskan berdirinya pesantren sekitar tahun 2009 oleh sesepuh Margadana yang pada waktu itu diprakarsai oleh Kepala Kantor Urusan Agama Kecamatan Margadana Bapak Umar Sanad dan Pimpinan Cabang Muhammadiyah Margadana yang diketuai oleh Bapak H. Ahmad Nasori.

Pernah dibuatkan rumah tunggu/dinas di sebelahnya agar bisa memakmurkan gedung tersebut. Namun karena keterbatasan pengalaman, dedikasi, biaya, kepercayaan diri dan reputasi penghuninya serta keberanian dari Pimpinan Cabang untuk mengembangkannya sehingga berjalan tidak sesuai dengan harapan.

Dalam sebuah rapat pembahasan strategi penerimaan siswa baru di SMP Muhammadiyah 2 Kota Tegal tahun 2016 yang dipimpin oleh Ibnu Wachyudi, M.Pd. (Kepala Sekolah), dan dihadiri oleh Nasikhin, S. Ag. (Guru Agama merangkap Wakil KS, alumni pesantren Uswatun Hasanah Mangkang), Imam Mudin, S.Pd.I (Guru BK, alumni pesantren Nurussalam Ciamis) dan Siti Muniroh, S.Pd.I (Guru Agama, alumni pesantren Nurussalam Ciamis) dan beberapa guru lain, muncul ide mendirikan pesantren yang disampaikan oleh Imam Mudin. Hal ini sebagai upaya jalan keluar untuk permasalahan yang dihadapi setiap tahun dan tantangannya semakin kuat. Ide ini disepakati oleh forum.

Kepala Sekolah meneruskan hasil kesepakatan ini dalam rapat Pimpinan Cabang Muhammadiyah yang diketuai oleh H. Ahmad Nasori dan disambut dengan baik. Dan ini menghidupkan kembali api semangat Persyarikatan yang dulu sempat padam untuk mendirikan sebuah pesantren. Malah dikatakan pula bahwa Kyai Muhaimin –Allahu yarham pernah bercita-cita yang sama.

Dalam rapat PCM berikutnya Kyai Haji Harun Abdi Manaf, Penasehat PCM lewat usulnya menunjuk salah satu Guru SMP Muhammadiyah 2 Margadana Kota Tegal, Imam Mudin untuk menjadi Mudir di pesantren tersebut dan disepakati oleh seluruh anggota rapat. Dan seluruh unsur persyarikatan diminta untuk bergotong royong berjuang bersama membangun Subulussalam.