Sebelum memasuki kompleks masjid, akan ditemui sebuah pohon beringin yang konon usianya sudah ratusan tahun. Pohon itu tumbuh di lokasi yang kini dimanfaatkan untuk tempat parkir. Karena usianya yang tua, penduduk setempat menamainya "Wringin Sepuh" dan menganggapnya mendatangkan berkah. Keinginan seseorang, menurut cerita, akan terpenuhi bila mau bertapa di bawah pohon tersebut hingga mendapatkan dua lembar daun jatuh, satu tertelungkup dan satu lagi terentang.
Berjalan mendekat ke arah kompleks masjid, akan ditemui sebuah gapura yang berbentuk paduraksa. Persis di bagian depan gapura, akan ditemui sebuah tembok berbentuk huruf L. Pada tembok itu terpahat beberapa gambar yang merupakan lambang kerajaan. Bentuk paduraksa dan tembok L itu adalah wujud toleransi Sultan Agung pada warga yang ikut membangun masjid yang masih memeluk agama Hindu dan Budha.
Memasuki halaman masjid, akan ditemui sebuah prasasti yang berwarna hijau. Prasasti bertinggi 3 meter itu merupakan pertanda bahwa Paku Buwono pernah merenovasi masjid ini. Bagian dasar prasasti berbentuk bujur sangkar dan di bagian puncaknya terdapat mahkota lambang Kasunanan surakarta. Sebuah jam diletakkan di sisi selatan prasasti sebagai acuan waktu sholat.
Adanya prasasti itu membuktikan bahwa masjid Kotagede mengalami dua tahap pembangunan. Tahap pertama yang dibangun pada masa Sultan Agung hanya merupakan bangunan inti masjid yang berukuran kecil. Karena kecilnya, masjid itu dulunya disebut Langgar. Bangunan kedua dibangun oleh raja Kasunanan Surakarta, Paku Buwono X. Perbedaan bagian masjid yang dibangun oleh Sultan Agung dan Paku Buwono X ada pada tiangnya. Bagian yang dibangun Sultan agung tiangnya berbahan kayu sedangkan yang dibangun Paku Buwono tiangnya berbahan besi.
Bangunan inti masjid merupakan bangunan Jawa berbentuk limasan. Cirinya dapat dilihat pada atap yang berbentuk limas dan ruangan yang terbagi dua, yaitu inti dan serambi.
Sebuah parit yang mengelilingi masjid akan dijumpai sebelum memasuki bangunan inti masjid. Parit itu di masa lalu digunakan sebagai saluran drainase setelah air digunakan wudlu di sebelah utara masjid. Kini, warga setempat memperbaiki parit dengan memasang porselen di bagian dasar parit dan menggunakannya sebagai tempat memelihara ikan. Untuk memudahkan warga yang ingin beribadah, dibuat sebuah jembatan kecil yang terbuat dari kayu-kayu yang disusun berderet.
Pada bagian luar inti masjid terdapat bedug tua yang bersebelahan dengan kentongan. Bedug yang usianya tak kalah tua dengan masjidnya itu merupakan hadiah dari seseorang bernama Nyai Pringgit yang berasal dari desa Dondong, wilayah di Kabupaten Kulon Progo. Atas jasanya memberikan bedug itu, keturunan Nyai Pringgit diberi hak untuk menempati wilayah sekitar masjid yang kemudian dinamai Dondongan. Sementara bedug pemberiannya, hingga kini masih dibunyikan sebagai penanda waktu sholat.
Sebuah mimbar untuk berkhotbah yang terbuat dari bahan kayu yang diukir indah dapat dijumpai di bagian dalam masjid, sebelah tempat imam memimpin sholat. Mimbar itu juga merupakan pemberian. Saat Sultan Agung menunaikan ibadah haji, ia mampir ke Palembang untuk menjenguk salah satu adipati di tempat itu. Sebagai penghargaannya, adipati Palembang memberikan mimbar tersebut. Mimbar itu kini jarang digunakan karena sengaja dijaga agar tidak rusak. Sebagai pengganti mimbar itu, warga setempat menggunakan mimbar kecil untuk kepentingan ibadah sehari-hari.
Berjalan mengelilingi halaman masjid, akan dijumpai perbedaan pada tembok yang mengelilingi bangunan masjid. Tembok bagian kiri terdiri dari batu bata yang ukurannya lebih besar, warna yang lebih merah, serta terdapat batu seperti marmer yang di permukaannya ditulis aksara Jawa. Sementara tembok yang lain memiliki batu bata berwarna agak muda, ukuran lebih kecil, dan polos. Tembok yang ada di kiri masjid itulah yang dibangun pada masa Sultan agung, sementara tembok yang lain merupakan hasil renovasi Paku Buwono X. Tembok yang dibangun pada masa Sultan agung berperekat air aren yang dapat membatu sehingga lebih kuat.
Masjid yang usianya telah ratusan tahun itu hingga kini masih terlihat hidup. Warga setempat masih menggunakannya sebagai tempat melaksanakan kegiatan keagamaan. Bila datang saat waktu sholat, akan dilihat puluhan warga menunaikan ibadah. Di luar waktu sholat, banyak warga yang menggunakan masjid untuk tempat berkomunikasi, belajar Al Qur'an, dan lain-lain.