発祥地とされる岡崎市土居町(社宮司社の境内)に｢土井氏一族発蹟地｣の碑が立つ。土井氏は美濃源氏の土岐氏の後裔とされ、土岐五郎光定(光貞)の次男･土井孫太郎定親から始まり、途中不詳ながら戦国期には、早乙女利重,土井利昌へとつながる。早乙女姓を改め、地名をとって土井に改姓した。近くには早乙女一族墓所，土井城跡がある。
　土井氏の直接の始祖である土井利勝の出生と育ちについては不明な点が多い。水野信元の庶子として1573(天正元)年に浜松で生まれ、のちに土井利昌の養子になったとされる説(徳川家康の従弟)、また、利昌の娘に産ませた家康の隠し子で水野信元の養子となり、後に信元が家康に討たれると利昌の養子にされたという説もある。養父･土井利昌と同様に徳川家に仕えた。
　家康の関東転封後の1591(天正19)年に相模国に領地1,000石を得て、三河を去った。江戸幕府内では順調に出世して、1610(慶長15)年に老中、1638(寛永15)年には大老に就任し幕府体制の確立に大きく貢献した。