วัดที่เต็มไปด้วยเรื่องเล่าทางประวัติศาสตร์มากมาย ตั้งแต่ในสมัยกรุงศรีอยุธยา ยุคแผ่นดินพระบรมราชาที่ 2 พระเชษฐาธิราช กล่าวกันว่าวัดถ้ำเขาบันไดอิฐแห่งนี้คือที่คุมขังของพระศรีศิลป์ ผู้สืบเชื้อสาย พระเจ้าทรงธรรมที่เตรียมการซ่องสุมผู้คนเพื่อก่อการกบฎ ส่วนอีกตำนานเล่าว่าวัดนี้เคยเป็นที่วิปัสสนา กัมมัฎฐานของพระอาจารย์แสง ผู้เป็นพระอาจารย์ของพระเจ้าเสือ โดยเชื่อกันว่าพระอาจารย์แสงท่านนี้ เป็นผู้เชี่ยวชาญเรื่องเวทย์มนต์คาถา จึงเดินทางมาธุดงค์อยู่ที่วัดเขาบันไดอิฐแห่งนี้ ในสมัยรัตนโกสินทร์ตอนต้น วัดเขาบันไดอิฐยังเป็นที่วิปัสสนาของพระอาจารย์เหลือที่เชื่อว่าเป็นผู้เก่งกล้าในอาคมยิ่งนัก ทหารเมืองเพชรจะไปรบครั้งใดจำต้องขอผ้ายันหรือตะกรุดโทนหรือไม่ก็สักยันต์ลงกระหม่อม รดน้ำมนต์จากท่านเพื่อให้เกิดความขลังและแคล้วคลาดจากศึกสงครามครั้งนั้น ปัจจุบันวัดนี้เป็นสถานที่ท่องเที่ยวของจังหวัดเพชรบุรีที่มีชื่อเสียง น่าชม หน้าบันพระอุโบสถที่สวยงามสะท้อนความละเมียดละไมของสกุลช่างเมืองเพชรที่สามารถ สร้างสรรค์ปูนปั้นได้น่าดูชมยิ่งนัก โดยเป็นรูปลายกนกเปลวพลิ้วล้อมรูปครุฑ ชมถ้ำที่มีความน่าสนใจหลายถ้ำ ได้แก่ ถ้ำประทุน ถ้ำพระเจ้าเสือ ซึ่งเชื่อว่าพระเจ้าเสือเคยเสด็จ มาเยี่ยมพระอาจารย์แสงถึงถ้ำนี้ แล้วได้ถวายพระพุทธรูปยืนปางห้ามสมุทรประดิษฐานไว้ ถ้ำพระพุทธไสยาสน์ ที่ไม่เพียงประดิษฐานพระนอนองค์ใหญ่ หากบริเวณซอกผนังถ้ำยังมีประทุนเรือ ทำด้วยไม้เก่าแก่ กล่าวกันว่าเป็นประทุนเรือที่พระเจ้าเสือเคยถวายพระอาจารย์แสง นอกจากนี้ ยังมีถ้ำพระอาทิตย์ ถ้ำพระจันทร์ ถ้ำสว่างอารมณ์ ถ้ำช้างเผือก และถ้ำดุ๊คซึ่งเรียกชื่อว่า ดยุคโยฮันฮัลเบิร์ตผู้สำเร็จราชการเมืองปอร์นสวิค ประเทศเยอรมัน ผู้เคยมาเยือนเพชรบุรีและชมถ้ำแห่งนี้
