位于横山城山脚下的观音寺是历史上秀吉和石田三成会面的地方，现在是一条登山步道。横山城的建造年代不详，但曾是京极氏的分城。1517 年（永正 14 年），该城被浅井亮政攻陷，之后，1564 年（永乐 4 年），小谷城主浅井长政以小野木重俊为军师重建了该城。在安内川之战中，织田军和德川军攻打横山城，并任命木下藤吉郎秀吉为城主。1573 年，信长攻入小谷城，浅井氏被灭。如今，横山城遗址包括主城楼遗迹、空护城河和土城，在周边地区还发现了相关的防御工事遗迹。