Построен в конце XVIII века. Первоначально здание было двухэтажным. В 1817 году дом Елагина был приобретён Алексндром I для летней резиденции своей матери Марии Фёдоровны. Перестроен в 1818-1822 годах по проекту Карла Росси, при этом надстроен третий этаж.
В 1918-1929 годах во дворце размещался Музей истории и быта. В 1930 году здесь разместился филиал Института растениеводства АН СССР. В начале 1942 года сильно пострадал от пожара. Проект реставрации разработан М. М. Плотниковым в 1946 году. Реставрационные работы проводились в 1952-1960 годах. С 1961 года база однодневного отдыха. В 1987 году открыт Музей русского декоративно-прикладного искусства и интерьера XVIII-XX вв.