始まりは７２９年～７４９年の天平年間といわれている神社で、「山王社」と呼ばれていました。大山寺開創の際、良弁がこの地に山王社を勧請したのが起源と言われています。ただこれには別の言い伝えもあり、８１０年～８２４年の弘仁年間に近江国から日吉神を勧請して社号を「山王社」と唱えたというものもあります。明治初期に日枝神社を合祀して「日枝神社」へ、１８７３年には廃仏棄釈から和田内熊野神社、石倉上白山社を合祀して、今の「上粕屋神社」と改称しました。さらに昭和に入って、峯岸御嶽神社と秋山五霊神社も合祀しています。

そのため、合祀のご祭神の多い神社となっており、主祭神は大山咋神・大穴牟遅神・若山咋命の３神ですが、合祀祭神は伊弉諾命、速玉男命、事解男命、伊弉冊命、菊理比売命、泉道守命、日本武尊、天穂日命、大己貴命、少彦名命、事代主命、三穂津姫命と１２神となっています。こんなにいっぱい神様がいらっしゃると、凄いご利益をもらえそうですね。