寺伝によれば、701(大宝元)年に行基が本尊十一面観音像を彫り、小寺を建てたのを創始という。平安時代には藤原忠平が来院し観音像を参拝したところ、たびたび夢に現れたため、941(天慶4)年に本堂,護摩堂,三重塔,大門など12坊舎を造り、943(天慶6)年に落慶供養した。現在でも大師堂に忠平の像が祀られている。
　鎌倉幕府打倒を目指した足利尊氏は冨賀寺に戦勝祈願をしたところ、連戦連勝して室町幕府初代将軍となった。尊氏はこれを冨賀寺本尊の加護によると考えて、以後、祈願寺として田地180町を寄進し、本堂,中堂,護摩堂,阿弥陀堂ほか、大坊,中谷坊,杉本坊,法寂坊など18坊舎を造営したと伝える。このときの住職は尊氏の従兄弟の真応上人である。国重文の｢三千仏名宝塔図｣,｢荒神図｣はこのときに寄贈されたものと思われる。
　戦国時代には、三河に進出していた今川氏により寺領を安堵されている。また、1530(享禄3)年の松平清康による宇利城攻撃では、本陣を冨賀寺裏山の四十九院に置いた。このときに戦功により宇利城主となった近藤康用はじめ近藤家の墓所が、本堂の左手の方にある。
　現在では、本堂,大師堂,護摩堂,鎮守堂,弁天堂,鐘楼堂などの伽藍が残されている。