ものの本によれば、衣張山の名前の由来について次のように書かれている。
ここ衣張山は、源頼朝（政子とも言われる）が大倉の屋敷に住んでいたころ、夏の暑い日に「この山に白い衣を張らせ」雪の景色に見せかけて涼んだので、この名前がついた（頼朝の権勢が強かった事から、後の人が想像してこんな言い伝えが出来たのでしょう）。
また尼さんが衣を松に掛けてさらした衣掛山だとも言われています。