桓武天皇による平安京造営の際に、御所の大内裏造営の木材を山国の郷より調達することとなり、宝亀年間（770～780）に本殿を創建したのがはじまり。平安時代中期に編纂された『延喜式』にもその名を確認でき、古くから「官社」として重要視されていたことがうかがえる。また、戊辰戦争の際、新政府軍にいち早く参加した「山国隊」が、出陣の際に誓いをたてた社としても有名。