这里曾是藤原不仁的别墅，在镰仓时代中期，安乐精舍由惟智禅师创建。然而，它在姉川之战中被烧毁。后来，彦根藩主井伊直隆在江户时代初期重建了它。广阔的庭园据说是由武藏国师建造的，是一个带有仿琵琶湖池塘的山水庭园。此外，寺庙内还有足利尊氏的陵墓，根据足利尊氏的遗愿，他的陵墓被安置在山中。