เล่าสืบต่อกันมาว่าผู้สร้างวิหารนี้เป็นผู้ชายชื่อ สามจอม โดยสร้างพร้อมกันกับเจดีย์ใหญ่ (เจดีย์บริวารองค์หนึ่ง) ซึ่งอยู่ด้านหลังของวิหาร ดังนั้นจึงเรียกชื่อวิหารตามชื่อของผู้สร้างว่า วิหารสามจอม สถานที่ตั้งอยู่ทางด้านตะวันออกของพระบรมธาตุ ตรงข้างประตูพระระเบียงก่อนเข้าสู่วิหารจะเห็นรูปปั้นพระธรณีกําลังบีบมวยผมที่ผนังด้านหน้าของวิหาร ภายในวิหารเป็นที่ประดิษฐานพระพุทธรูปปูนปั้น เรียกกันว่าพระเจ้าศรีธรรมโศกราช ซึ่งเชื่อกันว่าเป็นผู้ทรงสร้างพระบรมธาตุเจดีย์ เป็นพระพุทธรูปปางมารวิชัยมีเครื่องทรงอย่างกษัตริย์โบราณ ประดับชฎายอดสูง เป็นฝีมือช่างสมัยอยุธยา จากชื่อของพระพุทธรูป “พระเจ้าศรีธรรมโศกราช” องค์นี้ บางครั้งชาวนครเรียกวิหารสามจอมนี้ว่า “วิหารพระเจ้าศรีธรรมโศกราช” ด้านหลังของวิหารเป็นซุ้มประตู 3 ช่อง บรรจุพระพุทธรูปปางมารวิชัยและเก็บอัฐิของเชื้อพระวงศ์ และเจ้านายในเชื้อสายของสมเด็จพระเจ้ากรุงธนบุรี และตรงซุ้มประตูมีภาพปั้นพระพุทธประวัติตอนทรงตัดเมาฬีเพื่อออกบรรพชา
