柳生城は、地元の豪族柳生氏の城として、標高320ｍの山頂に所在していた。
１５４４年（天文１３）、筒井順昭（じゅんしょう）に攻められ、兵糧攻めにあって降伏する。
１５７１年（元亀２）の筒井順慶と松永久秀の合戦では、当主宗巌（むねよし）（石舟斎）は松永方に属して追われ、その後、柳生谷に籠った。
再び世に出たのは、宗巌の五男宗矩（むねのり）の代である。関ヶ原合戦の功もあり、徳川２代将軍秀忠の兵法指南役になった。
１６３６年（寛永１３）大名となり、亡父宗巌の菩提を弔うため１６３８年（寛永１５）に芳徳禅寺を建て、引続き正木坂の上に陣屋の建築をはじめ１６４２年（寛永１９）に完成、その後宗冬が増築、設備を整えた。
陣屋は、１７４７年（延享４）に全焼し、仮建築のまま明治維新を迎え、柳生藩庁舎となったが、その後公売それた。
現在、陣屋跡は史跡公園となり、「柳生城」の石碑が立ち、また屋敷跡の基礎が復元されている。

柳生城石碑

復元された陣屋跡の基礎