Pesantren ini berawal dari sebuah Musholla kecil yang hanya berukuran 10 ubin luasnya. Musholla Baiturahmat. Raden Sutaman seorang konglomerat di daerah kecamatan Cilacap tengah, Jawa Tengah. Tinggal di jalan S Parman, pemilik Hotel Sanjaya. Tanah yang dimiliki sampai ke jauh dari tempat tinggalnya. Salah satunya adalah tanah pekarangan yang terletak di daerah Wanasari Kelurahan Sidanegara Kecamatan Cilacap Tengah. Di daerah ini awalnya masyarakat ekonomi lemah dan lemah iman. Mata pencahariannya hanya buruh kasar dan serabutan, tetapi kebiasaannya sangat memprihatinkan. Kepala rumah tangga yang mencari penghasilan di siang hari hanya suka menghabiskan uang untuk judi di malam hari. Maklum mereka sangat terobsesi untuk hidup makmur tetapi pada kenyataannya sangat sulit, maka mengambil jalan pintas yang menurut mereka akan cepat mencapai tujuan, yaitu judi.
Sedangkan para istri hanya suka ngrumpi/ menggosip dan bersantai. Kehidupan mereka sangat jauh dari ajaran Agama, bahkan seolah tak mengenal Islam. Untuk menu sehari-hari adalah , daging babi hutan, daging anjing atau codot yang di hutang dari tukang sayur gendong keliling, disamping sayur-mayur. Anak-anak mereka hanya sekolah sampai Sekolah Dasar/ SD, dan tidak pernah mengaji/ menuntut ilmu Agama Islam, meski 99,99 % penduduknya beragama Islam.
Pada tahun 1980 M di RT 39 RW 02 grumbul Wanasari desa Sidanegara Kecamatan Cilacap Tengah Kabupaten Cilacap Propinsi Jawa Tengah, Indonesia inilah datang 2 pendatang baru, kakak beradik asal desa Danasri Lor Kecamatan Kroya Kabupaten Cilacap, yaitu Bapak Edi Suwarto dan Bapak Sukono ( putra bapak Yunus Muhammmad Muhsin tokoh agama dan masyarakat Islam Kroya ). Beliau berdua PNS Pemerintah Daerah / PEMDA Cilacap.
Mulai tahun ini adalah awal perubahan menuju yang lebih baik. Karena Beliau berdua Muslim yang taat, maka mulai prihatin dengan budaya masyarakat yang tidak Islami tersebut. Bapak Edi Suwarto mulai mendekati masyarakat dengan membaur pada kehidupan malam yang dihabiskan dengan berjudi, untuk lebih mudah diterima oleh masyarakatnya. Sedang bapak Sukono mulai berpikir untuk mendirikan tempat ibadah untuk masyarakat sekitar.
Karena tanah yang dimiliki oleh beliau berdua hanya cukup untuk membangun rumah sederhana maka beliau mengajak tokoh masyarakat untuk mendekati pak R Sutaman/ Taman untuk meminta secuil tanah dari seluruh tanah pekarangan Wanasari yang semua merupakan hak milik pak Taman. Maka dengan permohonan beberapa tokoh masyarakat waktu itu ( Bapak Haji Ibrahim yang selanjutnya ditunjuk menjadi imam Musholla, bapak Slamet Riyadi karyawan PERTAMINA Cilacap seorang muslim yang taat dan bapak Pawit/ prayit kemenakan pak Taman ) akhirnya pak Taman memberi 10 ubin wakaf untuk mendirikan Musholla.
Maka pada hari senin pon 5 juli 1980 resmi berdiri Musolla Baiturahmat dengan imam utama Musholla bapak Haji Ibrahim dan imam pengganti bapak Sukono dan bapak Slamet Riyadi. Awalnya musholla hanya untuk jamah sholat rowatib. Setelah beberapa tahun Pengurus sepakat untuk mendirikan jamaah shalat jumat. Maka musholla menjadi Masjid tempat shalat jumat.
Dengan didiriknya jamah shalat jumat, maka berkembang kebutuhan akan Khotib yang bertugas menyampaikan khutbah jumat. Maka dlam 1 bulan membutuhkan 4-5 Khotib. Dengan demikian bapak Edi Sowarto dimasukkan menjadi salah satu Khotib jumat. Saat itulah yang akan membawa perubahan lebih besar.
Sejak pak Edi masuk menjadi Pengurus masjid, selalu memberi masukan untuk perkembangan kegiatan masjid dan lebih banyak merekrut orang untuk menjadi Pengurus demi perkembangan yang lebih baik. Pada tahun itu juga merekrut bapak Surasmo untuk menjadi Khotib jumat dan mengisi Kultum Ramadhan menjelang shalat tarwih. Kemudian kegiatan bertambah dengan di adakan Pengajian umum tiap malam jumat dan Majlis Taklim ibu tiap hari senin siang.
Selanjutnya pada tahun 1988 putri pertama pak Edi Suwarto yang bernama Tuti Munfaridah mendapat PMDK dan beasiswa Bupati untuk kuliah di Institut Agama Islam Negeri ( IAIN ) Walisongo Semarang sekaligus nyantri di pondok pesantren Uswatun Hasanah Mangkang Wetan Semarang asuhan Bapak KH Mustaqim Husnan. Pada tahun 1993 wisuda tercepat dan mendapat nilai terbaik ke dua.
Pulang dari nyantri dan kuliah, Dra.Tuti Munfaridah yang mewarisi jiwa juang ayahnya, dengan prestasi akademik yang gemilang ( nilai tertinggi di Kabupaten Cilacap dari seluruh calon PNS ) dan keaktifan organisasi masyarakat serta peran ayahandanya di Cilacap maka beliau ditawari menjadi Pegawai Departemen Agama Cilacap. Tetapi 3 tahun berturut-turut PNS di tolak dengan alasan tidak mau mencari rizki dengan dasar haram ( rosi-murtasi ) dan mendapat gaji dari uang subhat/ haram ( pajak pabrik miras, prostitusi dll yang notabene income pemerintah ).
Maka ketika ayahnya bertanya tentang, bagaimana masa depnnya, di jawab dengan mantap, akan jihad fi sabilillah, berdakwah dengan lisan karena memang sudah sejak sekolah Aliyah kelas 2 sudah aktif memberi tausiyah menjadi Da'i remaja sampai ke luar propinsi. Dan akan mendirikan lembaga pendidikan agama Islam dar mulai TPQ, MADIN sampai Pesantren, serta mendirikan lembaga pendidikan umum dari PAUD - Pergurun Tinggi, sungguh cita2 yang sangat mulia dan tinggi.
Maka langkah awal termudah adalah mendiikan Taman Pendidikan al-Qur'an / TPQ yang pada waktu itu istilah yang umum adalah TPA, tapi Farida menamakan TPQ karea TPA identik dengan tempat pebuangan sampah sangat ironi dengan TPQ, dan mulai saat itu di Cilacap TPA berubah nama menjadi TPQ.
Jumlah santri pertama di dirikan TPQ Baiturahmat mencapai 275 anak karena keberhasilan ayahnya yang merangkul tokoh masyarakat dan mempublikasikan pendirian TPQ ini. Masih remaja sudah jadi Da'i, ketika masih gadispun sudah ada yang daftar jadi santri pesantren. Tuti munfaridah/ farida bingung dan heran saat itu "bagaimana mungkin, masih lajang punya santri pondok pesantren , sejauh ini yang namanya pesantren, ya ada Kyainya sebagai Pengasuhnya ?" pikirnya. Maka ditolaknya.
Ketka rabu 01 november tahun 1995/ 07 jumadi stani menikah dengan cucu mbah Salman/ salah satu wali dari desa Panulisan yang di makamkan di desa Karang Tengah kecamatan Majenang yang bernama Muhrorudin bin Lukman Jamhari bin Salman.Maka mulai saat itu secara otomatis berdiri pondok pesantren Baiurahmat dan menerima santri menetap. Nama yang diinginkan sebagai nama ponpes adalah Rahmatul Ummah/ Koiru Ummah tetapi Pengurus masjid menghendaki nama yang sama dengan masjidnya. Maka sampai saat ini nama masjid, TPQ / MADIN dan pesantren masih sama yaitu Baiturahmat, meski dalam hati belum cocok dan berniat suatu saat akan diganti dengan nama Kroiru Ummah.
