วัดเกาะเป็นวัดเก่าแก่ที่มีมาตั้งแต่สมัยกรุงศรีอยุธยาตอนปลาย สันนิษฐานจากหลักฐานต่างๆ เช่น ใบเสมาคู่ที่สร้างจากหินทรายแดง, อุโบสถที่ก่ออิฐถือปูนหลังคาซ้อน 2 ชั้น ฐานอุโบสถมีความอ่อนโค้ง, เจดีย์ทรงเครื่อง ที่ตั้งอยู่ระหว่างอุโบสถและวิหารตามคตินิยมสมัยอยุธยา และ ภาพจิตรกรรมในพระอุโบสถระบุปีที่เขียนไว้เมื่อ พ.ศ.2277 ซึ่งตรงกับรัชสมัยของสมเด็จพระเจ้าบรมโกศ ซึ่งมีความน่าสนใจในรูปแบบ วิธีการวาดและรายละเอียดต่างๆ เช่น ผนังด้านหน้าพระประธานที่ตามธรรมเนียมนิยมจะเขียนภาพพุทธประวัติตอนมารผจญ แต่ที่นี่กลับเขียนภาพมารผจญไว้ด้านหลังพระประธาน ส่วนด้านหน้าเขียนเรื่องจักรวาลเอาไว้แทน มีภาพของแม่พระธรณีบีบมวยผมที่ยืนในลักษณะแบบธรรมชาติ ไม่เหมือนกับที่เคยเห็นว่า พระแม่ธรณีมักจะยืนเอี้ยวตัวเล็กน้อย นอกจากนี้ยังมีภาพชาวต่างชาติ ทั้งตะวันตก แขก ญี่ปุ่น อยู่ในภาพจิตรกรรม ซึ่งทำให้รู้ว่าในสมัยก่อนเพชรบุรีถือเป็นเมืองเศรษฐกิจที่สำคัญเพราะมีการติดต่อกับชาวต่างชาติแล้ว
