1356年に羽州探題の斯波兼頼によって初期の築城がされた。以降、斯波氏は最上氏を名乗り居城となっていく。11代当主最上義光の時によって慶長年間に城郭を大幅に拡張し城下町が作られ山形藩の居城として整備されていった。最上氏が改易された後は鳥居忠政によって改修が行われたが、江戸時代中期以降は城の維持が困難になり幕末になると御殿と政庁は二の丸に置かれ本丸は更地となり三の丸の半分は田畑となった。

山形城は、本丸、二の丸、三の丸が同心円状に配置された輪郭式平城である。石垣は城門のみに使われておりそれ以外は土塁が使われている。本丸には天守は作られず御殿のみが置かれ代用として二の丸に三重櫓が置かれた。城の広さとしては名古屋城に次ぐ広さを誇っていた。三の丸には上級、中級の最上家家臣の屋敷が置かれた。城下町は城よりも高い場所に置かれ、馬見ヶ崎（まみがさき）川の扇状地であるため低湿地だったことを防御に活かすためと考えられる。