現在の祇王寺は、昔あった往生院の境内にあります。
往生院は、良鎮という僧が創建したお寺で、かなり広大な地域を占めていたと伝えられています。後に、尼寺となりましたが荒廃。明治初期には、廃仏毀釈により廃寺となってしまいました。しかし、平家物語・祇王ゆかりの地と知った元京都府知事の北垣国道氏は、自ら別荘一棟を寄進し、造られたのがこの祇王寺です。

平家全盛期だった頃、『祇王』という白拍子（平安後期に流行した歌舞を演じる芸人）がいました。祇王の歌と舞いはそれはとても美しく、瞬く間に評判となります。
時の権力者、平清盛の耳にもその噂は入り、祇王を呼び寄せ、舞いを披露させました。その見事で気品のある舞いはもちろんのこと、祇王の美しい容姿に惹かれ、二人は恋仲に落ちます。清盛は祇王を西八条殿に住まわせ、そのうえ母や妹の面倒までみるほど寵愛し、都の人々がうらやむくらい、何不自由のない生活を送っていました。
そこへ、仏御前という白拍子が現われます。仏御前も評判がとても良く、清盛に舞いを見せたいと願い出るものの、清盛は祇王より素晴らしい舞いをする者はいない、と門前払いしようとしました。わざわざ遠くからやってきた仏御前を見かねて、心優しい祇王が清盛を説得します。気乗りのしない清盛でしたが、見事な歌と舞いに瞬く間に仏御前に心を奪われてしまいました。そして、「舞いを見せたかっただけなので私が帰ります」という仏御前の言葉に耳を貸さず、それまで寵愛していた祇王を西八条殿から追い出してしまいます。さらに、心を痛めた仏御前も御殿を出て行ってしまいました。清盛は仏御前に懇願して御殿に戻ってもらったものの、どこか退屈している様子。そこで祇王に「仏御前に舞いを見せ、慰めてやって欲しい」と使いを出しました。祇王は断ろうとしますが、母に哀願され、御殿に出向き、仏御前の前で舞いを披露しました。清盛の無神経な態度と、仏御前の下座におかれる屈辱とで、祇王は自害しようとするものの、母の説得により思いとどまります。この一件で、祇王は、妹と母と共に世を捨て、仏門に入ることを決心しました。祇王21歳、妹の祇女19歳、母の刀自45歳のときでした。3人は髪を剃り尼となって、今の祇王寺の地にあった小さな庵で念仏三昧の静かな日々を送りました。
月日が経ったある秋の夜、庵を訪ねる者がいました。そっと覗くと、そこには髪を剃った仏御前が立っています。祇王の運命を自分と重ね、世の無常を思い、出家し尼になったとのことです。このとき仏御前は17歳でした。
こうして清盛と関わった4人の女性は、仏道に励み、往生を遂げました。
現在、祇王寺の本堂には、祇王・祇女・刀自・仏御前・清盛の木造が安置されています。