Sementara ukuran 9 meter diambil dari jumlah wali (Wali Songo) yang melaksanakan syiar Islam di Pulau Jawa. Pintu masuk masjid menyerupai pagoda, dengan relief naga dan patung singa dari lilin bertuliskan "Allah" dalam huruf Arab di bagian puncak pagoda.
Di sisi kiri bangunan terdapat sebuah bedug yang kerap digunakan untuk menandai waktu salat tiba.
Bagian atas bangunan yang bertingkat tiga merupakan pengaruh Hindu Jawa. Bentuknya segi delapan dan menyerupai pagoda.
Dalam kepercayaan Tionghoa, angka 8 berarti 'Fat' atau keberuntungan. Di bagian serambi masjid terdapat lima buah anak tangga yang merepresentasikan Rukun Islam.
Sedangkan enam buah anak tangga di bagian dalam masjid merepresentasikan Rukun Iman. Secara keseluruhan, Masjid Cheng Ho dapat menampung 200 orang jamaah.