水墨画などで有名な雪舟等楊が庭を作ったといわれることから雪舟寺とも呼ばれています。建物は1691年(元禄4)と1755年(宝暦5)の二度にわたり、火災に遭いましたが、桃園天皇の中宮、恭礼門院の御殿の一棟を賜って移築し再建されました。

方丈前の南庭の「鶴亀の庭」は、水墨画家、雪舟が作庭し、石組により造られた鶴亀石が配された優美な苔庭でしたが、二度の火災、そして長い歳月で荒廃し、昭和14年（1939）、重森三玲が復元・修理を行いました。向かって左の石組み「鶴島」は折り鶴を、右の石組みは「亀島」と呼ばれ、２段構えの石組みで亀の甲羅を表しています。「亀島」には雪舟が庭の亀石が動きだしたので、さらに石を立てて押さえたという逸話が残っています
また、方丈東側にある庭は、同じく昭和14年（1939）に重森三玲が作庭したもので、小さいながらも苔と石組が調和した見事な庭で、茶室「図南亭（となんてい）」の丸窓から見る眺めは趣のある佇まいとなっています。