山形城は、山形盆地の南東部、馬見ヶ崎川扇状地に築かれた平城で、別名「霞ヶ城」と言われている。
1356年（正平１１延文元年))足利幕府より出羽按察使に任じられた斯波兼頼が最上郷金井庄に居城を構えたことによると言われている。
のち斯波氏は最上氏を名乗り、領内を山形と改めた。以降天童・上山など各所に館を配して、｢最上四十八楯｣といわれる勢力圏をしいた。
特に十一代義光のとき戦国大名として成長を遂げ、1592年(文禄元年)、義光は山形城の拡張の工を起こし、新たに本丸・二の丸・三の丸を同心円状に重ねた輪郭式縄張りの城として固め、広大な三の丸に一族や重臣の屋敷を置いた。更に天守代用の三階櫓を含めて十数棟の櫓が設けられ、東北の押さえの城としてふさわしいものとした。又、三の丸外の城下町には下級武士の屋敷地を拡大、商人・職人町を整然と配置した。
1590年(天正１８)豊臣秀吉の小田原討伐のとき参戦し、関ヶ原合戦時には徳川家康に加勢し、西軍の上杉景勝配下の直江兼続（米沢城主）と戦って功績をあげ、二十四万石から加増されて、五十七万石となった。俗に最上１００万石、支城４８城を数える大大名であった。
１６２２年（元和8）最上氏は義光の孫、義俊のとき、世継ぎ問題に絡む重臣間の争いから、改易となり近江大森１万石に再封された。
徳川幕府の外様大名取り潰しの思惑もあったという。俗に言う最上騒動である。
最上氏のあと、鳥居忠政が二十四万石で入封し、最上時代よりひと回り大きく改築した。1636年(寛永１３)、保科忠正が二十万石で代わった。
　こののち、結城、松平、奥平、堀田、結城、松平、堀田、大給、秋元氏とめまぐるしく城主が代り、1845年(弘化２)水野忠精が入封すると、以降世襲して明治に至った。
現在、城址は霞城（がじょう）公園となっているが、１９８６年（昭和61）の国史跡の指定を機に、本格的な復興がはじめられた。
１９９１年（平成３）に二の門東大手門が仏港され、引き続き本丸一文字門の復元広治が進められてい。