江户时代，古河屋主要从事将松前（北海道函馆附近，与北海道阿伊努族人的主要交易地）的海产与东北、北陆地区的米等运到小滨，并集散至京都大阪的船运批发业，兼营酒、酱油的酿造及金融业，是与藩交易往来的豪商。
该建筑及庭园是文化12年（1815年），古河屋全盛时期的第5代古河屋嘉太夫时所建。
从式台（入口处）的木制台阶打开杉板门后，可看到由2间房构成的书斋，床之间(壁龛)
墙上挂有贴壁画，隔扇、杉板门、小壁橱上的画都是狩野派的作品。
建材从天花板到拉门框都是直木纹的杉木，所有柱子也使用了四面都是直木纹的杉木。为了让庭园看起来更宽阔，将原应建在绿色角落的柱子拆掉，这在现代也是罕见的高难度建筑设计。
为了迎接小滨藩主而建的蓬莱式书斋庭园巧借了若王子山的景色，既风雅又有格调。
