１３４０年（興国1・暦応３）、淡路守護細川師氏（もろうじ）が築き、守護の居館にしたというのが通説である。
１５１７年（永正１４）、三好之長（ゆきなが）が淡路を攻略し、当主尚春（ひさはる）は敗れて和泉へ逃れた。
間もなく帰国したが、之長に殺害されてしまう。
１５２０年、尚春の子彦四郎は、細川高国に付属して之長軍を破り、降伏した之長を処刑したという。
現在も館跡には「義宜館跡」の石碑と周辺には大土塁や空堀が残されており、「大土居」とか「御土居」
とか呼ばれている。