其實，早在高遠賴繼的祖父高遠繼宗擔任高遠家家督之時，高遠家就開始與信濃守護小笠原家暗中勾結。

    高遠繼宗甚至還趁著主家諏訪家內訌之際，出兵相繼奪取了中澤鄉、辰野鄉等地，將高遠家的版圖達到了鼎盛。《赤羽記》更是直接以“繼宗文武雙達，遂全有伊那之地，不下十萬石”來表達高遠繼宗擔任高遠家家督之時高遠家的強盛。

    但好景不長。

    在高遠繼宗之后，繼任高遠家家督是高遠賴繼之父高遠滿繼。

    可高遠滿繼不僅沒有遺傳到高遠繼宗的文韜武略，自己能力平庸不說還傲慢待人，不得家中人心，唯一繼承的只是高遠繼宗對諏訪總領家取而代之的野心。

    隨后，諏訪賴滿（諏訪賴重祖父）趁機借此良機拉攏了不少高遠家重臣、旗下國人領主，使得高遠家的實力大為衰退，無法凌駕于諏訪總領家之上。

    高遠滿繼倒是沒有坐視諏訪總領家的勢力進一步擴大，就主動與諏訪總領家進行交鋒。

    但高遠滿繼因不得人心的原因，導致并沒有太多的人愿意為其賣命。

    最后，高遠滿繼被諏訪賴滿打得是毫無還手之力，只能老老實實的臣從諏訪總領家。《赤羽記》中還以“滿繼傲慢無禮，諸士疏遠，是故大衰，僅余二成之力，即兩萬余石也”來形容高遠家的衰落。

    不僅如此，高遠滿繼迫于來自諏訪總領家的壓力，只能讓其子高遠賴繼迎娶諏訪賴滿之女為正室。

    等到高遠賴繼繼承高遠家家督之位后，也并沒有太大的改觀。

    因為，高遠賴繼只隔代遺傳了祖父高遠繼宗的武力以及野心，并沒有遺傳到高遠繼宗的智略。

    直到武田晴信主動派遣使者山本勘助找上門，高遠賴繼就認為再度向諏訪總領家舉起反旗的時機已至。

    于是，高遠賴繼就非常爽快的答應下來，準備與武田家聯合起來向諏訪郡發起鉗形攻勢。

    畢竟，在這戰國之世中，就算是姻親之盟有時比白紙還脆弱，若是真的相信姻親之盟能讓兩家的關系從此穩如磐石，那遲早要遭殃。

    當然，諏訪賴重已經深刻體驗到了這個惡果。

    甚至在武田軍兵臨桑原城下之際，諏訪賴重還對武田晴信抱有一絲換線，聽信了武田軍使者山本勘助那花言巧語，放下了武器，主動開城向武田軍投降了。原本諏訪賴重意圖抵抗到底的豪情也頓時煙消云散。

    值得慶幸的是，諏訪賴滿并沒有親眼看到諏訪家的滅亡。因為他病逝于諏訪家滅亡前的兩年半之前，享年六十七歲。