『平家物語』によれば、内大臣･平重盛に仕えたが、恋人･横笛への思いを断ち切るために出家し、滝口入道と呼ばれる。宮中警護に当たる滝口武者であったため、出家後の名前の由来となる。また、六波羅武士でもあった。その後、修業を積み、高野山真言宗別格本山の大円院の第8代住職にまでなったという。
　斎藤時頼の出家は史実で、『福井県史』によれば、母は平時忠の妻･帥典侍(藤原領子)の乳母で智福山法輪寺において出家し、安徳天皇即位に伴い、官職任命権を持つ帥典侍に滝口武者に取り立てられたという。
　内大臣･平重盛に仕えた滝口武者･斎藤茂頼の子に斎藤時頼という武士がいた。身の丈は6尺(180cm)近くあり、母を早くに亡くし、成人した後に父と同じく重盛に仕えた。ある日、重盛の父･清盛は、西八条殿で花見の宴を催し、斎藤時頼もこれに参加していた。このとき宴の余興として、建礼門院(重盛の妹)に仕えていた横笛が舞を披露した。それを見た時頼は横笛の美しさ、舞の見事さに一目惚れしてしまった。
その夜から横笛のことが忘れられない時頼は、恋しい自分の気持ちを横笛に伝えるべく、文を送ることにした。数多の男たちから求愛される横笛であったが、無骨ながら愛情溢れる時頼の文に心奪われ、愛を受け入れることに。しかし、時頼の父はこの身分違いの恋愛を許さなかった。傷ついた時頼は、横笛には伝えずに出家することを決意した。嵯峨の往生院(現在の滝口寺)に入り滝口入道と名乗り、横笛への未練を断ち切るために仏道修行に入った。
これを知った横笛は、時頼を探しにあちこちの寺を尋ね歩く。ある日の夕暮れ、嵯峨の地で時頼の念誦の声を耳にする。時頼に会いたい一心の横笛だが、時頼は｢会うは修行の妨げなり｣と涙しながら帰したといわれる。横笛は都へ帰る途中、自分の気持ちを伝えたく、近くの石に｢山深み 思い入りぬる柴の戸の まことの道に我を導け｣と指を斬り、その血で書き記したという。
　滝口入道は、横笛にこれからも尋ねてこられては修行の妨げとなると、女人禁制の高野山静浄院へ居を移す。それを知った横笛は、悲しみのあまり大堰川に身を沈めたとも、奈良･法華寺へ出家したとも伝えられる。横笛の死を聞いた滝口入道は、ますます仏道修行に励み、その後、高野聖となった。大円院の第8代住職を務め、元暦元年(1184年)には、紀州の勝浦で平維盛(重盛の子)の入水に立ち会っている。