東中仕切門外に位置する米倉跡。

岡城の築かれた天神山は標高325メートル、比高95メートル、城域は、東西2500メートル、南北362メートル、総面積は23万4千平方メートルに及んだ。
伝承では、1185年(文治元年）に大野郡緒方荘の武将緒方三郎惟栄(これよし)が源頼朝に追われた源義経を迎えるために築城したと伝えられているが、惟栄は大持浦（兵庫県）を出航しようとして捕らえられ、翌年上野国（群馬県）沼田荘に流されていた。
南北朝時代の1334年（建武元年）に後醍醐天皇の支持を受けた大友氏一族の志賀貞朝によって拡張され、岡城と名付けられたとされている。
『豊後国志』によると、志賀氏が直入郡に入ったのは1369年（応安2年）以降のことで、岡城に入る前は直入郡にあった木牟礼城を居城としていたという。１５８６年（ 天正１４）から翌年の豊薩戦争では島津の大軍が岡城をおそい、わずか１８歳の志賀親次（親善）は城を守り、よく戦って豊臣秀吉から感状を与えられた。しかし、１５９３年（文禄２）豊後　大友義統が領地を没収されると、同時に志賀親次も城を去ることになった。
１５９４年（文禄３）２月、播磨国三木城（兵庫県）から中川秀成が総勢４千人余で入部。築城にあたり志賀氏の館を仮の住居とし、（「中川御年譜」に「志賀湖左衛門親次が旧居に御住居」とあり、戦国時代の城郭を基礎として近世城郭の整備・城下の町割りなどをおこなった。）急ぎ近世城郭の形をととのえ、本丸は、１５９７年（慶長元）に完成、１６６３年（寛文３）には西の丸御殿がつくられ城の中心部分とされていった。
（岡城は山城的殿舎、平山城的殿舎（本丸二の丸、三の丸）、平城的殿舎（西の丸）で構成され、これらが一体となっていることは近世城郭史上特異な城である。）
現在残されている城郭は、明治に至るまで岡藩を統治した中川公によって築城されたもので、本丸、二の丸、三の丸、西の丸などの主な曲輪（くるわ）からなっている。
１８６９年（ 明治２）版籍奉還後の１８７１年（明治４）には、１４代２７７年間続いた中川氏が廃藩置県によって東京に移住し、城の建物は１８７４年（明治７）大分県による入札・払い下げで（明治７年「大分県布告書」で県内五城の建造物、岡城は６９棟が入札に付されている。）すべてが取り壊された。