На протяжении своего существования дворец неоднократно реконструировался, достраивался, менял внутренние интерьеры по проектам таких архитекторов, как Воронихин А. Н., Мейер Х. Ф., Штакеншнейдер А. И. Самыми известными хозяевами дворца были: Великий князь Константин Павлович (сын императора Павла I), великий князь Константин Николаевич (сын императора Николая I) и его сын великий князь Константин Константинович (К.Р.) Романовы. В советский период во дворце располагалась Стрельнинская школа-колония, затем санаторий, во время Великой Отечественной войны был сильно разрушен, к 1950 году восстановлен и отдан Арктическому училищу, после его закрытия, был фактически бесхозным. В 2000 году передан на баланс Управлению делами Президента РФ, полностью реставрирован и открыт, как «Дворец конгрессов», 31 мая 2003 года.