は正確な年代はわからないが、鎌倉時代には遠山氏により城が築かれていたとされる。鎌倉時代から戦国時代まで遠山氏の居城として使われた。1572年(元亀3年)に遠山景任が没すると、後継ぎがいなかったため妻であるおつやの方が女城主となった。翌年に武田軍の侵攻により包囲され降伏し、おつやの方は武田家家臣である秋山虎繁と婚姻した。信玄の死後、長篠の戦いにより勢いづいた織田軍は岩村城を包囲した。5カ月に及ぶ籠城戦の末落城し、虎繫とおつやの方は磔刑となり処刑された。その後は川尻秀隆、森長可、田丸直正と城主が変わり、江戸時代は松平氏や丹羽氏が城主となり幕末を迎えた。