Masjid ini semula bernama Masjid Jamik Kampung Sawah yang didirikan pada tahun 1130 H (1717 M). Masjid ini mempunyai peranan yang cukup besar dalam perjuangan kemerdekaan Republik Indonesia, di bawah pimpinan Kyai Haji Mohammad Mansyur. Pada tahun 1948 masjid ini digrebeg dan ditembaki oleh serdadu NICA. Pada saat itu Kyai Haji Mohammad Mansyur ditangkap oleh Belanda karena mengibarkan bendera merah putih di menara masjid.
Bangunannya berada di tengah permukiman dengan batas-batas lingkungan sebelah utara berbatasan dengan permukiman, sebelah selatan dengan Jl. Sawah Lio II, sebelah barat dengan gang Sawah Lio dan permukiman, sebelah timur berbatasan dengan permukiman.