慶長10年(1605年)金森長近によって築かれた。慶長5年(1600年)関ヶ原合戦で東軍に属して郡上八幡城などを攻めた功により、飛騨高山城主金森長近は河内国金田と美濃国上有知（こうずち）、関に2万3千石を加封された。長近は飛騨高山は養子の金森可重（ありしげ）に譲り、自身は小倉山城に築城して別家を興した。、別名「小倉居館」ともいわれる。
慶長12年(1607年)長近が没すると、、可重が家督を相続すると長近の実子・五郎八長光に上有知等2万石が分知され上有知藩が成立した。
二男の金森長光が継いだが慶長16年10月(1611年)わずか６歳にて没して無嗣改易となり、上有知藩はわずか二代で廃藩となった。その後は天領になり、元和元年(1615年)からは尾張藩領となって代官所が置かれていた。。

小倉山公園の駐車場に行くと、目前に石垣が築造されており、角に２層の隅櫓が建っている。