Первый вокзал на территории т. н. Архиерейской левады был построен в 1869 году по проекту известного русского архитектора Андрея Тона. Однако с развитием железных дорог (особенно после открытия дороги до Балашова в 1895г) старое помещение вокзала стало тесным и потребовало реконструкции. Перестройка и модернизация вокзала были начаты в 1896 году по проекту архитектора И. Загоскина, завершены архитектором Ю. Цауне в 1901г, после чего вокзал Харьков-Пассажирский стал одним из крупнейших в Российской империи.
Нынешнее, третье по счёту, здание вокзала в стиле «сталинского ампира» с элементами классицизма открыто 2 ноября 1952 года вместо разрушенного в годы войны.
Вокзал станции «Харьков-Пассажирский», арх. Волошинов Г. И., Мезенцев Б. С., Лымарь Е. А., инж. Филинов С. А., ? — 1952 гг. [Васильев Е. В., Щетинин Н. Н., Архитектура железнодорожных вокзалов — Москва: Стройиздат, 1966, С. 197]. Пристройка южного крыла и гостиницы «Экспресс», арх. Мурыгин Ю. И., Гурова Л. В., Инюшкин Л. П., Кухтин С. А., Жирнов А. Н., 1978–1982.
Проект составлен Мосгипротрансом.
В 1975 г. в цокольный этаж вокзала встроен подземный переход к станции метро «Южный вокзал».
В 1978—1982 годах с южной стороны пристроено помещение нового кассового зала с залом ожидания на верхнем уровне и камерами хранения в цокольном этаже, а также гостиница «Экспресс», являющаяся непосредственным продолжением вокзального комплекса.