鎌倉時代の文治年間（1185年 - 1190年）、佐竹常陸介秀義が築城する。室町時代、美濃国守護大名である土岐氏の城となるが、1353年（文和2年）に川手城が築城されると、鷺山城は重要視されなくなり、次第に衰退する。永正年間、土岐頼芸が鷺山城を再興し、後の土岐氏第11代として川手城に入るまで居城する。1530年（享禄3年）、斎藤道三により土岐氏が追放され、道三が稲葉山城に拠点を移したことにより再び衰退する。

1548年（天文17年）、道三が家督を息子の斎藤義龍に譲ると鷺山城を改修、鷺山城に隠居する。しかし義龍はこの道三の行動を、家督を義竜の弟（斉藤龍重、斉藤龍定）に譲ると勘違いし、1555年（弘治元年）、道三を鷺山城から追放する。1556年（弘治2年）には、義龍は道三を攻め滅ぼし、これを討ち取る（長良川の戦い）。この戦いの後、鷺山城は廃城となる。