伝承によれば、成務天皇が高穴穂宮にて即位の時、武内宿禰に命じてこの地に大嶋大神(大国主神)を祀ったのが草創とされている。そして、応神天皇が奥津嶋神社から還幸の際に、社の近辺に御座所を設けられ休憩した。その後、その仮屋跡に日輪の形を2つ見るという不思議な現象があり、祠を建て日群之社八幡宮と名付けられたという。691(持統天皇5)年、藤原不比等が参拝し、詠んだ和歌｢天降りの 神の誕生の八幡かも ひむれの杜に なびく白雲｣に因んで比牟禮社と改められたといわれる。
　991(正暦2)年、一条天皇の勅願により、八幡山(法華峰)上に社を建立し宇佐八幡宮を勧請して、上の八幡宮を祀った。さらに、1005(寛弘2)年、遥拝社を山麓に建立し、下の社と名付けた(現在の社殿に相当)。
1585(天正13)年、豊臣秀次が八幡山城を築城するため、上の八幡宮を下の社に合祀した。その代替地として日杉山に遷座することとなったが、秀次の領地替えやその後の高野山での自害、八幡山城廃城により全面中止となり、現在の一社の姿となった。廃城後も城下町は近江商人の町として発展し、当社はその守護神として崇敬を集めた。
　1600(慶長5)年9月18日、徳川家康が関ヶ原の戦い後に武運長久の祈願を込めて参詣し、御供領50石の地を寄附し、後に徳川家光や徳川家綱も御朱印を下している。
　また、天下の奇祭とよばれる｢左義長まつり｣が有名である。織田信長が安土城下で毎年正月に盛大に行い、自ら異粧華美な姿で踊ったというもので、信長亡き後、安土から八幡町に移住した人々は日牟禮八幡宮例祭｢八幡まつり｣の荘厳さに驚き、近江八幡の開町による新進気鋭の喜びと感謝の意を込め、厄除,火防の由緒ある御神徳を仰ぎ、左義長を奉納したと伝わる。現在の左義長まつりは、近江商人の商売繁盛を祈願するまつりとしての意味合いが強い。