Построен на месте разобранной юго-восточной башни кремля и с использованием её кирпичей. В 1824 году сооружён парадный вход в стиле ампир. В XIX веке интерьер сильно перестроен. В настоящее время здание занимает картинная галерея.
Первоначальное каменное здание колокольни построено в 1654—1659 гг. Она представляла собой восьмиугольное столпообразное сооружение с шатровым каменным верхом, увенчанным небольшой главкой. При строительстве применялся камень, сохранившийся от постройки кремля Ивана Грозного. На 1863 г. насчитывалось 14 колоколов, кроме того колокольня имела часы.
В 1860-х гг. при епископе Вологодском Палладии шатровый верх и звон колокольни были сняты. В 1869—1870 гг. на сохранившемся нижнем ярусе (высотой около 17 метров) по проекту архитектора В. Н. Шильдкнехта была построена более высокая колокольня в неоготическом стиле. В верхнем ярусе колокольни имеется смотровая площадка. Колокольню венчает позолоченный купол с крестом.
Памятник архитектуры. Номер объекта: 3510063004.