Первый проект разработан в 1815-1816 годах архитектором М.П.Коринфским, не утверждён. Разработка нового проекта в декабре 1821 года была поручена И.Е. Ефимову. Его проект утверждён в 1822 году. Фундамент заложен 24 мая 1823 года. Первый бал в Дворянском собрании состоялся 6 декабря 1826 года. В этом же здании размещался Александровский дворянский банк.
После революции здание занял Губернский продовольственный комитет. 3 сентября 1923 года открыт Центральный межсоюзный клуб им Я.М. Свердлова.