안동시 풍산읍 서미리 청음선생이 낙향하여 이곳 서미리에 초가집을 짓고 고사리를 캐어 먹으면서 사셨다.
청음선생 가신지 54년만인 1710년(숙종 36년 庚寅) 봄에 안동부사 이정신(李正臣)이 유허비를 세웠는데 비문은 사헌부 집의(司憲府 執義)인 지촌 이희조(芝村 李喜朝)가 지었다.
1820년(순조 20년) 봄에 선생의 후손 문간공 학순(文簡公 學淳)이 안동부사로 와 계실 때 목석거 유허비를 세운 바위에는 목석거(木石居)란 세 글자를 은자암(隱者巖)이란 바위에는 은자암급 산남율리 해동수양(隱者巖及 山南栗里 海東首 陽)이란 글자 및 서간사(西磵祠)란 글자를 친필의 각자로 남겼다. ,