京都市北区の山間部、雲ヶ畑、中川とともに「北山三村」の一つに数えられる「小野郷」の地にひっそりとたたずむ小さな神社です。創建年代は不詳ですが平安時代前期にはすでに祀られており、岩戸社は元の天津石門別稚姫神社、落葉社は元の堕川神社で共に延喜式（えんぎしき）内社でしたが、元和年間に岩戸社が火災に遭い、落葉社に合祀され岩戸落葉神社となりました。
　
また、「源氏物語」の登場人物の一人である女二の宮の別名「落葉の宮（おちばのみや）」の名前は、当地を閑居としたことにちなんでいると言われています。

境内には、４本の銀杏の巨木があり、晩秋にはそれらの木々が葉を落とし、境内一面が黄色い絨毯で敷き詰められたかのような幻想的で美しい様相を見せます。京都屈指の隠れた紅葉（黄葉）の名所です。見頃は、例年11月中旬～下旬です。