วัดศรีสวาย ตั้งอยู่ห่างออกไปทางตอนใต้ของวัดมหาธาตุประมาณ 350 เมตร โบราณสถานสำคัญที่ตั้งอยู่ในกำแพงแก้ว ประกอบด้วยปรางค์ 3 องค์ รูปแบบศิลปะลพบุรี ลักษณะของปรางค์ค่อนข้างเพรียว ตั้งอยู่บนฐานเตี้ย ๆ ลวดลายปูนปั้นบางส่วนเหมือนลายบนเครื่องถ้วยจีน สมัยราชวงศ์หยวน ได้พบทับหลังสลักเป็นรูปนารายณ์บรรทมสินธุ์ ชิ้นส่วนของเทวรูป และศิวลึงค์ที่แสดงให้เห็นว่าเคยเป็นเทวสถานในศาสนาฮินดูมาก่อน แล้วแปลงเป็นพุทธสถานโดยต่อเติมวิหารขึ้นที่ด้านหน้า แล้วเป็นวัดในพุทธศาสนาภายหลัง นน วัดศรีสวาย เดิมเป็นเทวสถานในศาสนาพราหมณ์หรือฮินดู ลักษณะเป็นปรางค์สามยอดแบบขอม มีคูน้ำล้อมรอบปรางค์สามองค์ โบราณสถานดังกล่าวนี้มีที่มาจากทรงปราสาทแบบขอม แต่ได้รับการดัดแปลงแตกต่างจากต้นแบบ เช่นส่วนประดับของปราสาทขอมที่เรียกว่า บันแถลง กลายเป็นรูปกลีบขนุน และปูนปั้นประดับกลีบขนุนเป็นรูปครุฑยุดนาคและเทวดา ปรางค์วัดศรีสวายจึงแตกต่างจากปรางค์สมัยกรุงศรีอยุธยาซึ่งมีต้นแบบจาก ปรางค์ในศิลปะขอมและคล้ายคลึงแบบขอมมากกว่าปรางค์ในแบบของช่างสุโขทัย
เมื่อครั้งพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว เสด็จประพาสเมืองสุโขทัย ทรงพบรูปพระอิศวรและและโบราณวัตถุหินจำหลักเป็นทับหลังรูปพระนารายณ์บรรทมสินธุ์ รูปพระนารายณ์สี่กร และชิ้นส่วนของเทวรูปและศิวลึงค์ทำด้วยสำริด จึงทรงสันนิษฐานว่า วัดศรีสวายนี้คงเป็นสถานที่พวกพราหมณ์ใช้ทำพิธีโล้ชิงช้า (ตรียัมปวาย) แต่ต่อมาเมื่อคนไทยเข้ามาครอบครองกรุงสุโขทัย วัดนี้จึงถูกดัดแปลงให้เป็นวัดทางพระพุทธศาสนา