726年に聖武天皇の勅願によって行基菩薩が摂津国の昆陽池のほとりに建立した地蔵院が始まりと伝えられています。その後に、平安時代に衣笠山麓に移され室町時代初期に戦災で焼失したが足利義満が金閣寺建立の余財で再建し1589年に豊臣秀吉の命によって現在地に移りました。地蔵堂に安置する地蔵菩薩は行基作の当初からのものと伝え、また堂背後の板扉はもと北野神社にあった多宝塔の遺構とされています。

書院の前庭には五色八重散椿の｢散り椿｣があります。かつて豊臣秀吉の朝鮮侵略の際に加藤清正が朝鮮蔚山城から持ち帰って秀吉に献上し、さらに北野大茶会のときに地蔵院に献木されました。
普通の椿の花が散る際は、花が花首から丸ごと落下し、戦国時代や江戸時代の武将達には打ち首を連想すると敬遠されることもありましたが、ここの五色八重散椿は花が散るとき花弁が１枚ずつ散っていき、秀吉も気に入って愛したと伝わります。

天野屋利兵衛は元禄年間 活躍した大阪の商人で、赤穂義士を支援した義に厚い人物として伝えられています。町奉行にとらわれ拷問されても口を割らなかったため、赤穂浪士は計画通りに討ち入りにできたという影の功労者です。晩年はこの寺に隠棲し、義士の冥福を祈ったと伝えられています。