諏訪氏の一門である高遠頼継の居城であった。諏訪氏と対立していた高遠頼継は武田信玄の諏訪侵攻に呼応した。しかし、諏訪の領有権をめぐって信玄と対立し、追放された。武田家家臣の山本勘助や秋山虎繁によって大改修が行われ信濃での拠点として整備された。1562年(永禄5年)には諏訪氏の血を引く武田勝頼が城主となり、勝頼が武田家当主となると異母弟の仁科盛信が城主となった。織田信長の甲州征伐において10倍の織田軍に対して盛信は徹底抗戦を行い玉砕した。本能寺の変後は徳川家康の配下の保科正直が城主となった。江戸時代には京極氏、保科氏、鳥居氏が城主となり、元禄4年(1691年)に内藤氏が入城すると幕末まで続いた。

城の縄張りは中世の武田氏の縄張を踏襲しているが、本丸には御殿と天守の代用である2層の辰巳櫓があり城門には枡形虎口が用いられている点から近世城郭として改修されていたことが分かる。城内には1500本のタカトオヒガンザクラが植えられており、毎年多くの観光客が訪れている。