この観音台は、昔産土神が祭られていたと伝えられている。藤原鎌足の子藤原不比等が近江の大守に任じられて淡海公と呼び、この土地に住まわれたこともあり、その子藤原房前が護持仏として所持していた黄金の亀の背に乗った高さが１寸８分の聖観音を本尊にして一寺を、７２０年（養老４）元正天皇の御代に建立し金亀山彦根西寺観音と名付けた。
その時以来彦根山を金亀山とも言い後に出来た彦根城を金亀城とも呼ぶようになった。
尚、ここは、旧藩時代に出櫓があり、合戦の際に質子を入れるための人質郭と呼ばれていたが、今はこの郭も取り払われて残っていない。