和珥氏との関係が深い柿本氏の氏寺で、出土の古瓦から奈良時代に創建されたと考えられている。また、和爾下神社の神宮寺とも推測される。歌人の柿本人麻呂の遺骨はここに葬むられたという。1337(建武4)年には、北朝軍が天王社(和爾下神社)や柿本寺に陣取って南朝軍と戦ったとの記録がある。その後、室町時代までに西へ約400ｍ離れた場所に移転し、江戸時代までは代々、学僧が出て和歌や茶の湯などが親しまれたが、明治初年に廃寺となっている。
　柿本寺跡には円型礎石四基と古墳から出土した石棺の蓋石が置かれており、一説には、和爾下神社古墳から出土したものであるとされる。また、1732(享保17)年に柿本寺の僧や人麻呂を尊崇する歌人で医師でもあった森本宗範らによって建てられた｢歌塚｣の碑がある。