吉野川河口の三角州に位置する標高61mの渭山に豊臣秀吉から阿波国を与えられた蜂須賀正勝の子、家正が秀吉の命で築城したのが始まりである。蜂須賀氏は元々豊臣氏の家臣であるが、関ヶ原の戦いでは徳川方で出陣、また大坂夏の陣でも戦功をあげ、新たに淡路国を与えられた。その後、阿波・淡路両国の城主として約290年間治め明治に至った。 本丸、西二の丸、西三の丸、東二の丸の城郭部分と、山麓の本丸御殿が置かれた居館部分からなり、かつて山上にあった渭山城と山麓の寺島城を合わせた大規模な平山城である。石垣は「阿波の青石」と呼ばれる緑色片岩で築かれ、また当初天守は本丸にあったが元和年(1615～24)に取壊され、一段下がった東二の丸に天守代用の御三階櫓が建てられた。なぜ二の丸に築かれたのかは定かではなく景観や防衛上の理由などの推察がされている。