蔵人所に代々使えた官人の出身で、朝光が伊賀守に任じられて以降、伊賀氏を称した。建久元年(1190年)11月の源頼朝の上洛に供奉している。正治年間に左衛門少尉、承元4年(1210年)3月に伊賀守に任じられる。建暦2年(1212年)12月、従五位上に除す。
　娘婿である北条義時が鎌倉幕府の2代執権となったことから、朝光の子らは義時の外戚として活躍した。建保3年(1215年)9月14日に朝光が死去し、翌日、山城前司･二階堂行政の家の後山に埋葬された際には、義時も参列している。
　長男･光季は承久3年(1221年)の承久の乱で京方の襲撃を受けて自害し、光宗と伊賀の方は貞応3年(1224年)6月の伊賀氏の変で謀反を図って流罪となる。3男の左衛門尉光資は貞応3年(1224年)3月23日に脚気のため死去している。　

　姉妹が鎌倉幕府の執権北条義時の正室であることから、北条氏外戚として重用された。建暦2年(1212年)、常陸国内に地頭職を与えられる。建保3年(1215年)、左衛門尉，検非違使。建保7年(1219年)2月、大江親広と共に京都守護として上洛。
　承久3年 (1221年)の承久の乱で倒幕の兵を挙げた後鳥羽上皇の招聘に応じず、｢職は警衛にあり、事あれば聞知すべし、未だ詔命を聴かず、今にして召す、臣惑わざるを得ず｣と答えた。再び勅すると、｢面勅すべし、来れ｣と言った。｢命を承けて敵に赴くは臣の分なれども、官闕に入るは臣の知る処にあらず｣と言って行かなかった。このため、同年5月15日に官軍によって高辻京極にあった宿所を襲撃され、子の光綱と共に自害を余儀なくされた。のちに北条泰時が光季の故地を遺子の季村に与えた。　

　義時が前妻の姫の前と離別したのちに継室となったと見られ、元久2年(1205年)6月22日に政村を出産、 承元2年(1208年)に実泰を出産。
　貞応3年(1224年)7月、夫･義時の急死後、兄の光宗と共に実子である政村を幕府執権に、娘婿の一条実雅を将軍に擁立しようと図るが、北条政子が政村の異母兄･泰時を義時の後継者としたことにより失敗し、伊賀の方と光宗，実雅は流罪となった(伊賀氏の変)。子の政村は事件に連座せず、のちに7代執権となっている。8月29日、伊賀の方は政子の命によって伊豆北条へ配流となり、幽閉の身となった。4ヶ月後の12月24日、危篤となった知らせが鎌倉に届いており、その後死去したものと推測される。
　なお、藤原定家の『明月記』によると、義時の死に関して、実雅の兄で承久の乱の京方首謀者の一人として逃亡していた尊長が、義時の死の3年後に捕らえられて六波羅探題で尋問を受けた際に、苦痛に耐えかねて｢義時の妻が義時に飲ませた薬で早く自分を殺せ｣と叫んで、武士たちを驚かせている。