1554年(天文23年)に武田信玄により築城される。城代には武田信豊が置かれたとされるが、確実な記録はない。武田氏滅亡後は織田家家臣、滝川一益が領した。滝川一益は本能寺の変により北条氏との間で発生した神流川の戦いに敗北し、本国の伊勢に敗走する途中に小諸城に立ち寄った。その後は徳川家康に引き渡され、小田原征伐の後は仙石秀久が入城した。秀久により石垣を用いた近世城郭に改修された。1622年(元和8年)に仙石氏が上田に転封となるまで居城とした。その後は松平氏、青山氏、酒井氏を経て1702年(元禄15年)に牧野康重が城主となると以降は幕末まで牧野氏が続いた。

城が城下町よりも低い位置にあることから城下から城が見渡せるため、「穴城」と呼ばれる。城は浅間山の地形を利用した谷と千曲川の断崖を利用した天然の要害である。本丸には天守台があり、仙石秀久によって野面積みの石垣と3層の天守が築かれたとされる。寛永年間に落雷により焼失し以後再建はされなかった。大手門と三之門、石垣が現存しており、石垣は信濃において最も古い石垣である。