หลักฐานทางโบราณคดีที่สำคัญของวัดบางเป้ง คือ พระอุโบสถ (หลังเก่า) ลักษณะทางสถาปัตยกรรมเป็นอาคารอิฐถือปูน ผังรูปสี่เหลี่ยมผืนผ้า หลังคาเครื่องไม้มุงกระเบื้องดินเผา ลดชั้น ๒ ชั้น ด้านสกัดหน้า-หลังชักปีกนกยื่นออกมาบรรจบกับตับหลังคาด้านข้างคลุมโดยรอบอาคาร มีเสาซีเมนต์ตั้งรับชายคาเป็นระยะ ระหว่างเสาด้านล่างมีพนักลูกกรงก่ออิฐถือปูน เครื่องลำยองเป็นกรอบจั่วอย่างไทยช่อฟ้า ใบระกาหางหงส์ไม้ หน้าบันเป็นแบบชนิดไม่มีหน้าบันชั้นลด ตกแต่งด้วยลวดลายปูนปั้นประดับเครื่องถ้วยจีน และชุดลายครามจากต่างประเทศ ระหว่างเสาพาไลทำพนักระเบียงก่ออิฐกรุด้วยกระเบื้องปรุสีแบบจีน มีทางเข้าด้านข้างเหนือ-ใต้ ด้านละ ๒ ช่อง พระอุโบสถก่ออิฐถือปูนมีฐานปัทม์รองรับ ที่มุมยกเก็จขึ้นเป็นที่ประดิษฐานใบเสมาหินแกรนิต ด้านหน้ามีประตูเข้า-ออก ๒ ช่อง ผนังด้านข้างมีหน้าต่างด้านละ ๔ ช่อง บานประตูหน้าต่างไม้ทาสีแดง ซุ้มประตูและหน้าต่างทรงกรอบซุ้มมีปูนปั้นที่เป็นลวดลายประดับดอกและใบอย่าวเทศตกแต่งด้วยเครื่องถ้วยลายคราม