1585년(선조 18)에 지방유림의 공의로 정광필(鄭光弼)·김정(金淨)·송인수(宋麟壽)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.

임진왜란 때 소실되었다가 1609년(광해군 1)에 중건하고, 같은 해이시직(李時稷)의 상소로 ‘숭현(崇賢)’이라고 사액되었다. 그 뒤 1646년에 김장생(金長生), 1681년에 송준길(宋浚吉), 1694년에 송시열(宋時烈)을 추가로 배향하였고, 1667년에는 별사(別祠)를 건립하여 이시직과 송시영(宋時榮)을 모셔 선현배향과 지방교육의 일익을 담당하였다.

그 뒤 대원군의 서원철폐령으로 1871년(고종 8)에 훼철된 뒤 복원하지 못하였으며, 서원터에 유허비(遺墟碑)만 남아 있다.