Kadifekale’de kalıntıları görülebilen birkaç yapıdan biri Kale Mescidi’dir. Seyyahlar tarafından şapel ve kilise olarak da adlandırılan, örneğin Rubellin’in 1881 tarihli fotoğrafında St. Polykarpos Şapeli olarak tanımlanan, bu yapıda gerçekleştirilen kazı ve araştırmalar yapının mescid olduğunu göstermiştir. Mescidin kısmen korunmuş olan duvar izlerinden güneyde kare bir harim kısmı, kuzeyde son camaat yerinin bulunduğu görülmüştür. Harim kısmının güney duvarı üzerinde küçük bir köşeli mihrap izi dikkat çekmektedir. Harimin kuzey duvarı üzerindeki mescid kapısından çıkıldığında ulaşılan son cemaat yerinin devşirme sütunlarla taşınan tonoz üst örtüye sahip olduğu düşünülmektedir. Son cemaat yerine, arazideki eğim nedeniyle, bir merdivenle ulaşılmaktaydı. Kuzey yönde bir avlusu ve avlunun bir köşesinde de haziresi yer alıyordu.

17. yüzyılın ikinci yarısında kente gelen Evliya Çelebi kale içinde bir mamur cami bulunduğundan bahseder ki, sözünü ettiği cami bu yapı olmalıdır. Evliya Çelebi’nin not ettiği caminin kitabesinden Ahmed oğlu Hacı İlyas tarafından 1308/9 yılında (Hicri 708) yaptırıldığı öğrenilmektedir. Ayrıca E. Çelebi, bu tarihte, hisarda oturanların bu caminin cemaatini oluşturduklarından söz etmektedir. Başkaca kaynaklar cuma cami olarak kullanılmış olduğunu da not etmektedirler.

Aynı şekilde 1678’de kente gelen A. Galland ise, kalenin ortasında eskiden bir Rum kilisesi olan terk edilmiş bir camiden başka bina yoktur diyerek bu mescidi tanımlıyor olmalıdır. Anlaşılan o ki, bu tarihte mescid artık terk edilmişti. A. Galland’ın tanımlamasının aksine bazı başka kaynaklara göre cami 19. yüzyılın başlarına kadar kullanılmıştır.

Ancak Galland’ın bahsettiği ve camiye dönüştüğünü belirttiği kilisenin varlığı yapılan kazı çalışmaları ile tespit edilmiş değildir. Aksine yapının özgün bir plana sahip olduğu görülmüştür. Nitekim güney duvarı üzerinde mihrab nişi bulunan kare planlı ve kubbe üst örtülü harim kısmı, bu mekanın kuzeyinde merdivenlerle ulaşılan son cemaat yeri, avlusu ve haziresi ile tespit edilen tüm bu kalıntıların tipik bir İslami ibadet yapısı özellikleri gösterdiği görülmektedir. Bu haliyle İzmir’deki Türk-İslam ibadet yapılarının ilk örneklerinden biri ve belki de ilk örneği olarak değerlendirmek mümkün görünmektedir.

Mescidin hemen doğu bitişiğinde bulunan tonoz üst örtülü kalıntının bir sarnıç olduğu ve sarnıcın mescidin inşasından sonrasındaki bir tarihte cemaatin veya kale sakinlerinin su ihtiyacı için mescide eklemlendirildiği sanılmaktadır.