第４代藩主井伊直興が１６７７年(延宝５)に着手し、１６７９年に完成したもので、下屋敷として築造され、木材はすべて槻(ケヤキ)でその華麗さは各大名も驚嘆したものである。
大老井伊直弼は、１８１５年(文化１２)１０月２９日ここで生まれた。
これらの建物は数棟の東屋よりなり、今日に至るまでしばしば修理が加えられたが、往時の面影をとどめている。
第１２代藩主井伊直亮(なおあき)が１８０４年～１１８１７年(文化年間)に楽々之間を増築しいて以来、槻御殿という正式の名よりはむしろ楽々園の名のほうが有名になつた。
楽々園の名は、「仁者は山を楽しみ、智者は水を楽しむ」の意からとったともいわれ、民の楽を楽しむという仁政の意をもっているともいわれている。