Эти земли были подарены в 1695 году сёгуном Токугавой Цунаёси своему верховному советнику и фавориту Янагисаве Ёсиясу, который решил разбить здесь сад. Ёсиясу любил поэзию вака и потому спроектировал сад на основе 88-ми поэтических образов из произведений "Манъёсю" и "Кокинсю". Эти места были отмечены каменными столбиками и надписями.
Сейчас из 88-ми столбиков сохранилось 32. Строительство велось в 1695—1702 годах, Ёсиясу лично руководил всеми работами, в течение 8 лет ему ежедневно приносили зарисовки выполненных работ, работы были завершены в 1702 году. В эпоху Мэйдзи сад был второй резиденцией основателя компании "Мицубиси" Ятаро Ивасаки. В 1938 году Рикугиэн был подарен правительству Токио.
В центре сада находится большой пруд с островами. На самом большом острове насыпан холм высотой 35 метров, с которого открывается красивый вид на сад. Вершина холма называется Фудзими-яма ("Пик с видом на гору Фудзи"). Фудзи находится в 150 км к западу от Токио, в то время Эдо, и была видна с холма в ясную погоду. На среднем острове насыпаны холмы Имо-яма и Сэ-яма, символизирующие божественных супругов Идзанаги и Идзанами.
