日光開山の勝道上人が修行した霊場と伝えられている。

周りに堀が巡らされてたその形が巴紋に似ていることから巴の宿という。