江戶時代，古河屋以將松前地區（北海道函館附近，與北海道阿伊努族人的交易中心地）的海產與東北、北陸地區的米等運到小濱，並集散至京都大阪的船運批發商為本業，兼營酒、醬油的釀造與金融業，成為與藩交易往來的富商。
本建築與庭園為文化12年（1815年），古河屋全盛時期的第5代古河屋嘉太夫時所建。
從式台（進屋前的平台）打開杉板門，可見由2間房構成的書院。床之間（壁龕）牆壁上掛有貼壁畫，隔扇、杉板門、小壁櫥上的畫皆出自狩野派之手。
建材由天井到紙拉門框都是直木紋杉木材，所有柱子以四面皆為直木紋的杉柱製成。為使庭園視覺效果更寬廣，原本在綠色角落應有的柱子被去除，是即使放眼現代，亦屬珍稀的高水準建築設計。
借景若王子山的蓬萊式書院庭園是為迎接小濱藩主而築庭，既風雅又有格調。
