近江国伊香郡伊香郷発祥の大族で、天武朝の白鳳10年(672)に伊香の姓を賜り、嘉祥元年(848)改めて豊厚に伊香宿禰を賜姓される。
　後裔は伊香具神社社家となり、余語湖に天女が降り舞ったという羽衣伝説をもつ。
　この説話は伊香連の祖先が天女であるとする物語である。古代近江国の諸豪族の中で、一族の始まりを神話と結び付ける豪族は、湖北の名族たる伊香連以外に確認されていない。この伝承の裏には伊香連の権威を強める意味があったと捉えられている。白鳥となって降りてきた天女の意味は、白鳥が穀物の霊、特に稲の穀霊神として飛来し、当地が肥沃な土地であることを保証するとともに、天女を母方に持つことによって、その血統を高めたいという意図があったと考えられている。