Melihat bentuk arsitektur masjid yang berdiri pada abad ke-16 ini, tampak pada atap bangunannya yang bersusun dan lambang panah sebagai simbol bersejarah seperti beberapa masjid yang ada di Jawa Tengah dan Jawa Timur, antara lain Masjid Demak, Masjid Sunan Giri, dan Gresik.
Kesamaan itu di antaranya adalah bentuk atap masjid sebelumnya yang tidak menggunakan genteng dari tanah liat, melainkan kayu sirap. Anehnya, peninggalan bersejarah seperti omamenbagian langit-langit yang terdapat di dalam masjid, raib entah ke mana rimbanya. Ada yang mengatakan, telah diamankan oleh Dinas Museum Pemda DKI Jakarta.
Berdirinya Masjid Al-Atiq konon bertepatan dengan berdirinya masjid yang berada di Banten dan Karang Ampel, Jawa Tengah, se- hingga dikatakan sebagai cabang masjid yang didirikan oleh Sultan Maulana Hasanuddin, namun, masjid tersebut merupakan bangunan yang terakhir penyelesaiannya.
Mengikuti perkembangan zaman, masjid ini telah beberapa kali direnovasi, kendati luas masjid sebelumnya dapat dilihat pada batas keempat tiang yang berdiri kokoh di dalamnya. Pada tahun 1619, ketika VOC masih berkuasa, keadaan bangunan masjid sangat memprihatinkan. Maka, ketika pengikut Pangeran Jayakarta tengah menelusuri Batavia melalui Sungai Ciliwung dengan menggunakan perahu, salah satu rombongan secara kebetulan melihat sebuah bangunan masjid yang tidak terpelihara, bahkan nyaris roboh, sehingga akhimya rombongan segera memutuskan untuk menetap di wilayah itu, sekaligus memperbaiki bangunan masjid yang telah ada sebelumnya.
Keterangan lain yang pemah dituturkan oleh jamaah Masjid Al- Atiq dari generasi ke generasi, konon masjid ini merupakan tempat persembunyian Si Pitung dan Ji’ih, jagoan Betawi yang terkenal karena membela rakyat kecil dan menentang Kolonial Belanda saat itu, setelah melarikan diri dari penjara Meester Comelis (kini Jatinegara) pada tahun 1890-an. Si Pitung dan Si Ji’ih disembunyikan di masjid ini selama berbulan-bulan atas perintah mualim (kiai) setempat.