文明年間(1469～87年)、鈴木重時によって築かれた。寺部鈴木氏は寺部城を本拠に高橋庄東部を支配して、同地域に勢力を拡大しようとする松平氏と対立した。1493(明応2)年、重時は上野城主･阿部氏，金谷城主･中条氏，八草城主･那須氏，伊保城主･三宅氏らと連合して松平宗家4代の親忠を攻めたが、井田野の戦いに敗れ服属した。
　重明を経て、重教は、1533(天文2)年に岡崎城主･松平清康と戦うなどしていたが、三河に進出した今川義元に服属することとなる。しかし、1558(永禄1)年、織田信長方へ寝返ると、松平元康は今川義元より寺部城攻めを命ぜられ、火攻めで落城させた(これが元康の初陣)。重教の子･重政は今川氏に服属するが、桶狭間の戦い以後の今川氏の退潮に伴って没落。城は、1566(永禄9)年、織田氏の重臣･佐久間信盛によって攻められ落城し、寺部鈴木氏は松平氏の臣下となった。
　その後、1608(慶長13)年に尾張徳川家家老の渡辺守綱が寺部に入封し、1万4,000石を領した。守綱は寺部城址に陣屋を構えて、以後渡辺氏が代々相続して明治時代に至る。
　城跡には南東に鈴木氏時代の土塁の一部が残され、その上に城址碑が建つ。北側と西側にも土塁跡がみられ、その外側は堀となっている。城内(陣屋内)には江戸時代末から明治時代の母屋,書院,茶席,土蔵の建物跡と3つの井戸跡が残る。
　また、城跡南には隣接して守綱を祭神とする守綱神社が建てられている。