1300年を超える長い歴史において、慶雲館はこの地の厳しい自然環境にたびたび翻弄された。古いものが残っていないのはその影響もある。そばを流れる早川は普段は比較的穏やかだが、かつては大雨などで増水すると一気に氾濫。慶雲館は建物が流されるなどの被害を受けてきた。昭和に入ってからでも4回の大水害に遭い、このうち第2次世界大戦直後の1948年には施設内にあった土倉が水害に遭い流され、いろいろな資料が失われた。
川の氾濫だけではない。例えば明治以降でも2回大火災に遭ったほか、大正期には落石によって建物が半壊。2010年には落石によって西山温泉の主要ルートである県道が通行止めとなり、一時は険しい林道を通って往来する状態になった。このときは大型バスが通行できなくなったため、慶雲館は宿泊客に途中で別の送迎車に乗り換えてもらいながら営業を継続した。年によっては大雪で「陸の孤島」となり、長い歩みは厳しい自然環境と常に隣り合わせだった。
創業期を経て次に伝わるエピソードは戦国時代のこととなる。口伝によると、このころ慶雲館は湯治場として地元でかなり知られるようになっていた。医療体制が整わない中、温泉が果たす役割は大きかったのだろう。天文年間には武田信玄も訪問したという。信玄に仕えた有力な家臣である武田二十四将の一人、穴山梅雪も慶雲館を訪れ、敷地内にあって温泉の神様をまつる湯王大権現にドラを奉納。ドラは慶雲館の当主に代々家宝として受け継がれ、現在は施設内に置かれる。
慶雲館はその歴史の大半を湯治場として、地域の人々に「慶雲」と呼ばれ親しまれた。利用客は山梨県や静岡県東部の農家が多く、農閑期に食料を持参してじっくり滞在する「自炊湯治」だった。食事の提供がないため売上金額は限られるが、運営コストがかからない分、利益率は高かった。このため、近隣にはかつて大雨が降ると、川の下流に慶雲館でためた宝物が流されてくるといううわさがあった。それでもずっと温泉以外には手を出さず、ポツンと山の中にあるため競合もほとんどいなかった。「だからこそ、ずっと続いてきたのではないか」（川野氏）
代々管理してきた深沢家と分家は交代で当主になったり、後継者がいないときにはお互いに養子縁組で迎え入れたりしながら、慶雲館を守ってきた。ファミリー出身の当主は「湯坊様」と呼ばれた。
時代の変化の中、慶雲館は1970年代に転機を迎える。きっかけはファミリー出身の深沢雄二氏が52代に就いたことだった。
Powered by リゾーム?