這裡曾是藤原不仁的別墅，在鎌倉時代中期，安樂精舍由惟智禪師創建。然而，它在姉川之戰中被燒毀。後來，彥根藩主井伊直隆在江戶時代初期重建了它。廣闊的庭園據說是由武藏國師建造的，是一個帶有仿琵琶湖池塘的山水庭園。此外，寺廟內還有足利尊氏的陵墓，根據足利尊氏的遺願，他的陵墓被安置在山中。