築城年や築城者は定かではないが中世の城郭とみられる。丘の中央に主郭,南と東に一段下げた曲輪,空堀を挟んで西側に曲輪,更に西に一段下げた曲輪,北に空堀から続く曲輪が置かれていた。飛鳥時代までの遺構はこの頃に破壊されたと推測される。
　雷丘には少子部栖軽(ちいさこべのすがる)の古墳墓や雷神伝説に関連する伝承が残されている。(『日本霊異記』と『日本書紀』)雄略天皇が后の寝所と気づかず入ってしまった家臣の少子部栖軽は、天皇に｢雷神を捕らえてこい｣と命じられる。栖軽は豊浦寺と飯岡の間にある丘に落ちていた雷神を連れ帰り天皇に献上するも、天皇は光り輝く雷神に恐れをなし｢落ちていた所へ返してこい｣と命じる。この雷神が落ちていた所が雷岡(雷丘)とされる。数年後、小子部栖軽が亡くなると雄略天皇は彼の忠義を讃え、この丘に｢取雷栖軽之墓｣(雷神を捕らえた栖軽の墓)と墓標を建てる。これに腹を立て雷神が墓標を踏み潰すが、その割れ目に足を取られ抜けなくなってしまう。天皇は雷神を逃がし｢生之死之捕雷栖軽之墓｣(生前も死後も雷神を捕らえた栖軽の墓)と墓標を建て直した。