河内国石川郡壷井の河内源氏の香炉峰の館に生まれる。母は平直方の女で、兄八幡太郎義家、弟新羅三郎義光と同腹である。
　父や兄と共に前九年の役で戦い、その勲功を賞され天喜6年(1058年)2月25日に右衛門尉へと任ぜられる。兄の義家とは不仲で、寛治5年(1091年)5月に河内国にある郎党たちの領地をめぐり合戦寸前にまで至っている。
　寛治7年(1093年)、出羽守源信明が平師妙と子の平師季に襲撃され殺害された事件の解決にあたり、その功で従四位下に序せられ美濃守に転任した。
　嘉承元年(1106年)7月1日に兄源義家が没し、義家は四男の義忠を後継者に指名していた。天仁2年(1109年)2月3日夜、義忠が斬りつけられ、5日後に死亡する事件が発生した。義綱父子は義忠を殺害したとして疑いをかけられて逃亡したが近江の山中で源為義に捕縛され、降伏して出家後、佐渡に流罪となる。この時、六人の息子が不幸な最期を遂げている。長男義弘･次男義俊は谷に身を投げて投身自殺し、三男義明は義忠殺害の張本人とされて追っ手に追われて戦死、四男義仲は火に飛び込んで焼身自殺、五男義範は切腹、六男義公は自害、という様相であった。
1132年、配流先の佐渡で再び源為義の追討を受けて自害。後に、義忠殺害は冤罪であり、真犯人は源義光であったことが判明している。

　義弘が白河院の判官代となっていた天仁2年(1109年)、河内源氏の棟梁であり、従兄弟でもある源義忠が暗殺されるという事件(源義忠暗殺事件)が発生し、父である義綱と弟･義明、義明の乳母夫で滝口武者である藤原季方がその暗殺犯とされ朝廷から嫌疑を受けた。義綱はこれに怒り、義弘を始めとする5人の兄弟達もこれに抗議の意を込めて父子そろって近江国甲賀山(鹿深山)へ立て籠もるという行動をとった。その際、義明は病のため行動を共にせず藤原季方邸に籠った。
　こうして甲賀山に入った一行ではあったが、棟梁を継いだ義忠の甥源為義が白河院からの追討命令を受けた上、義綱の弟であり真犯人である源義光が為義の後押しをするに及んで甲賀山攻撃を開始すると義綱方は各所で敗退し、ついに義綱は降伏しようと言い出した。しかし、それに納得できない兄弟らは抵抗し、義弘は義綱に切腹するように言い寄った。それでも義綱は投降しようとしたので義弘は父に範を示そうと兄弟の中で真っ先に自害することにし、高い木に登ってそこから谷底に飛び降りて投身自殺した。その後、他の兄弟も次々と自害していき、残された義綱は為義に投降して佐渡国に流された。