С 1937 года постройки замка использовались под казармы и конюшни кавалерийской роты СА. С 1943 года подвалы замка служили убежищем во время бомбардировок для воспитанников детских домов Дрездена. После войны в Альбрехтсберге как и в других эльбских замках были расквартированы подразделения Красной армии. В 1948 году в замке, выкупленном у города министерством иностранных дел ГДР, открылся отель «Интурист». В 1951 году во дворце открылся первый в ГДР дворец пионеров по советскому образцу. В настоящее время здание замка используется для проведения различных культурных мероприятий и арендуется для проведения свадебных церемоний.