建部大社の祭祀を司ったのは建部氏であった。系図によれば、建部氏は祭神である日本武尊の子孫を称し、派遣随使・派遣唐使を務めた犬上君御田鍬の弟で建部君を賜った息知を祖とすると伝える。息知より4代の孫にあたる益人が初めて建部神社を勧請したという。息知はまた、建部朝臣姓も賜っている。子孫は神崎郡に住し、祖神を祀る建部大社に奉仕した。

　江戸時代に建部氏直系は｢平重盛の孫･平高清の末裔｣であることを主張したが、鎌倉時代、室町時代の公式文書にはすべて｢平姓｣ではなく｢建部姓｣で署名していること、平高清の没年と禰寝氏初代･清重の地頭職就任年が同年であることから見て疑わしい。
　平氏末裔を主張した背景には島津光久後室･陽和院殿の養家である平松家とのつながりが深くなったことが背景にあるのではという説がある。
建部姓禰寝氏の先祖は遠く大宰府の在庁官人であり、禰寝氏(小松氏)が同じ鹿児島の島津氏よりも出自が古いことは歴然としている。