親族と思われる大江匡房の養子となっていたことから大江姓を称していたが、天永2年(1111年)に本姓に復し、橘氏長者であった父・以綱の後を受け長者となる。 文章得業生から、のち天仁元年(1108年)に信濃守に任じられるが、在任中の天永2年(1111年)に、美濃国に向かう途中であった下野守・源明国との間で私闘となり、同じくその場にあった源為義の郎党らと共に明国に殺害された。 歌人として『新勅撰和歌集』に和歌が1首入集している。