1719년(숙종 45)에 지방유림의 공의로 김집(金集)과 이경여(李敬輿)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 같은 해에 ‘부산(浮山)’이라고 사액되어 선현배향과 지방교육의 일익을 담당하여오던 중, 대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었다. 그 뒤 군수 정연달(鄭然達)을 중심으로 한 지방유림에 의해 1980년에 복원하였다.
경내의 건물로는 3칸의 사우(祠宇), 중앙의 신문(神門)과 양쪽 협문(夾門)으로 된 삼문(三門) 등이 있으며, 사우에는 김집과 이경여의 위패가 봉안되어 있다.이 서원에서는 매년 9월 18일에 향사를 지내고 있으며, 유물로는 이경여에게 보내온 효종의 비답(批答)을 송시열 글씨로 새긴 부산각서석(浮山刻書石)이 있다.