横山城の築城時期は不明ですが、かつて京極氏の支城であったといわれています。 永正14年（1517年）には浅井亮政によって攻め落とされ、その後、小谷城主であった浅井長政が永禄4年（1564年）に城を改築し、大野木茂俊などを武将として配置しました。 織田信長が朝倉攻めを開始すると長政は義兄である信長と対峙する事となりますが、元亀元年(1570年)の姉川の合戦時には横山城は落城。 小谷城攻めの拠点として木下藤吉郎が城代となり、天正元年（1573年）には小谷城が侵略され浅井氏が滅ぼされました。 現在、横山城跡には本丸跡、虎口、空堀、堀切、土塁、井戸跡などが残っており、周辺には関連する砦跡も確認されています。 またハイキングコースにある観音寺は、秀吉と石田三成が出会った場所といわれており、横山城の麓に位置しています。