1701년(숙종 27)에 김경여(金慶餘)와 송상민(宋尙敏), 1822년(순조 22)에 송국택(宋國澤)을 추가배향하였다. 선현배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐령으로 1871년(고종 8)에 훼철된 뒤 복원하지 못하다가 1923년 지금 있는 곳에 숭절사라는 사당을 세우고 단종복위운동 때 사육신의 한 사람이었던 박팽년(1417∼1456)과, 사육신에 포함되지는 않지만 함께 복위운동을 도모했던 박심문(?∼1456)을 배향하고 있다.