Kejayaan Jayakarta berahir pada tanggal 12 Maret 1619, kota Kejayaan itu luluh lantak dan bersisa oleh serbuan pasukan V.O.C Belanda dibawah pimpinan J.P. Coen yang kemudian melakukan bumi hangus terhadap kota Jayakarta dan kemudian mengganti nama kota tersebut dengan nama Batavia. Perlawanan terhadap penjajahan Belanda tak pernah usai di Batavia, salah satu tokoh Pahlawan Masyarakat Betawi yang begitu melenda adalah Si-Pitung.
Menurut penuturan tokoh masyarakat Marunda, Pahlawan tanah Betawi ini banyak menghabiskan waktunya untuk istirahat dan bersembunyi dari kejaran kompeni di Masjid Al-Alam yang dibangun oleh Fatahillah ini. Dulu Bang Pitung menggunakan masjid ini untuk sembunyi dari kejaran tentara Belanda. Konon, bila beliau bersembunyi di masjid ini, dia bisa tidak terlihat oleh Belanda. Itu sebabnya, masjid ini seringkali disebut sebagai Masjid Si Pitung.
Di bangunan masjid terdapat lubang kecil berbentuk setengah oval di bagian kiri masjid. Konon, kala itu lubang tersebut sering digunakan untuk mengintai tentara musuh. Telepas dari semua kisah legenda pada masjid ini, bila melihat tahun pembangunannya, Masjid Al Alam ini merupakan masjid tertua di Jakarta, wajar bila kemudian di tahun 1975 pemerintah provinsi DKI Jakarta menetapkan Masjid Al Alam sebagai Cagar Budaya.