Здание, построенное в 1790 году, проектировалось с учетом требований униатской общины, планировавшей разместить здесь духовную семинарию и капитул. После вхождения в 1793 году города в состав Российской Империи, здание использовалось, как общественное, пока в 1805 году сюда не перевели Подольскую православную семинарию из Шаргорода.
В Каменец-Подольской семинарии учились Михаил Достоевский, Стефан Руданский, Николай Леонтович и другие известные люди. В 1976 году здание упраздненной семинарии стало домом для картинной галереи. В ее музейной экспозиции представлена живопись разных эпох, в том числе коллекция икон разных религиозных конфессий, графика и скульптура XVII-XX веков, мебель XVIII столетия. Картинная галерея входит в состав Каменец-Подольского Государственного исторического Музея-заповедника.