主祭神「天津日高彦火火出見命」の御子神「ウガヤフキアエズノミコト」がお生まれになった際、産殿に蟹が寄ってきたので仕えていた神様が毎日掃き除いたところ、命が大層喜ばれその神様に「蟹守」の名を与えられた。
その後「蟹守かにもり」→「掃部かもん」→「加毛利かもり」→「神守」として地域の名前になっているとのこと。
その末裔が日向の宮崎神宮から御分霊してお祭りしたのがこのお社の始まりだそうです。

この神社には珍しく鳥居がありません。
御祭神が天津神であり、国津神の大国主命を祭る出雲大社より大きい鳥居でないといけないということから建てられていないそうです。