室町幕府8代将軍足利義政が1473年（文明5）嗣子足利義尚に将軍職を譲り、 1482年（文明14）から東山の月待山麓に東山山荘（東山殿）を造営しました。元々は応仁の乱で焼亡した浄土寺のあった所で、近代以降も左京区浄土寺の地名が残っています。
東山殿の造営工事は、義政の死の直前まで約8年にわたって続けられましたが、工事開始翌年、常御所が完成すると義政はここへ移り住みました。東山殿には会所、常御所等の大規模な建物が建ち、足利義満の北山殿（後の鹿苑寺）程ではないですが、ある程度の政治的権力も持っていました。それは当時まだ応仁の乱直後で、京都の経済は疲弊していたにもかかわらず、義政が庶民に段銭（臨時の税）や夫役（ぶやく、労役）を課して東山殿の造営を進め、自身は書画や茶の湯に親しむ風流な生活を送っていた事からも伺えます。
1490年（延徳2）、義政の遺言により東山殿を禅院に改め、翌年、慈照寺と名付けられました。現存する当時の建物は、銀閣と東求堂のみで、ともに国宝に指定されています。戦国時代末期には、前関白近衛前久の別荘になりましたが、これは慈照寺の歴代住持に近衛家出身者が多かったことによります。前久の死後は、再び相国寺の末寺として再興されました。

1558年の兵火により銀閣、東求堂を残して建物が焼失し1615年に現在の寺観が整えられました。銀閣は1489年の建立、こけら葺き二層建てで下層は心空殿と呼ばれる書院造りの住宅風、上層は潮音閣と呼ばれる禅宗仏殿風の室となっており観音像を安置しています。
実際には銀箔は張られませんでしたが、北山鹿苑寺の金閣に対し一般に銀閣と呼ばれる金閣に比べて枯淡幽雅な特色が見られ、東山文化を代表する名建築です。

【銀閣寺】が三ツ星に、
【庭園】が二ツ星に選ばれています。