Здание построено в конце XVIII века купцом Подгорновым. Позже половина дома приобретена купцом К. М. Грошевым. Дом изображён на картине И. И. Левитана "Вечер. Золотой Плёс". После революции дом использовался как коммунальное жильё. С 1935 года здание занимала школа №1. В 1980-е не использовалось. В середине 1990-х проведена реставрация. 14 ноября 1997 года открыт Музей пейзажа.