น่าจะเป็นวัดเพียงหนึ่งเดียวในจังหวัดเพชรบุรีที่มีโบราณสถานสมัยลพบุรีในยุคขอมเรืองอำนาจ โดยสันนิษฐานว่าเดิมคงเป็นเทวสถานที่สร้างขึ้นในศาสนาพราหมณ์-ฮินดู ราว พ.ศ. 1700-1750 ในสมัยของพระเจ้าชัยวรมันที่ 7 ที่สามารถแผ่อิทธิพลของขอมเข้ามาถึงดินแดนแถบลุ่มน้ำเจ้าพระยาในอดีต ครั้นลัทธิพราหมณ์เสื่อมถอยที่นี่จึงกลายเป็นวัดพุทธศาสนาไป แต่ก็กลายเป็นวัดร้าง ต่อมาในสมัยกรุงศรีอยุธยาได้มีการบูรณะและเปลี่ยนเป็นพุทธศาสนาที่ใช้ชื่อว่า วัดกำแพงแลง ทว่าก็ยังคงปรากฏร่องรอยของอารยธรรมขอมผ่านกำแพงศิลาแลง ซุ้มประตูทางเข้าปราสาทตามศิลปะแบบบายน โดยภายในปราสาทนั้นจะพบปรางค์ 5 องค์ที่มีปรางค์ประธานตั้งอยู่ตรงกลางและมีปรางค์อีก 4 องค์วางตัวอยู่ทั้งสี่ทิศ ประดับด้วยลวดลายในแบบศาสนาพราหมณ์ เช่น กนก เทวรูป สิงห์ และครุฑ เป็นต้น ในปรางค์แต่ละองค์นั้นเป็นเทวลัยที่ประดิษฐานเทวรูปเคารพ คือ พระอิศวร พระพรหม พระณารายณ์ พระลักษมี และพระขันธกุมาร ซึ่งจากเดิมที่มีอยู่ 5 องค์ ปัจจุบันเหลือปรางค์อยู่เพียง 3 องค์เท่านั้น
