天守曲輪の石垣は緑泥片岩（りょくでいへいがん）を用いた野面積みで、桑山氏の時代にかけて築かれたと考えられている。
乾櫓の北東側石垣には、経典を収める「宝篋印塔」（ほうきょういんとう）を転用した隅石がある。