지금은 등산로로 이용되고 있는 관음사는 히데요시와 이시다 미츠나리가 만났던 역사적인 장소로 요코야마성 기슭에 위치하고 있다. 는 알 수 없으나, 한때 교고쿠 가문의 지성(支城)으로 쓰이다가 1517년 아사이 료마사의 공격을 받아 무너진 후 1564년 고타니 성주 아사이 나가마사(浅井長政)가 오노기 시게토시(小野木重利)를 장군으로 삼아 성을 재건했다. 아네가와 전투에서 오다와 도쿠가와 세력이 요코야마 성을 공격해 기노시타 히데요시 후지키치로를 성의 대표로 임명했고, 1573년 노부나가 가 고타니 성을 침공해 아사이 일족을 멸망시켰으며, 현재 요코야마 성터에는 본성터와 빈 해자, 토루 고분 등이 남아 있으며, 주변 지역에서도 관련 요새의 유적이 확인되고 있다.