Ныне неотъемлемой частью парка «Цветник» является скромный парк на Горячей горе, который тянется от грота Дианы до Академической галереи. История этого парка – история борьбы человека с природной стихией.

В том месте Горячей горы, где ныне находится скульптура Орла, были построены самые первые купальни – Александровские, а затем ниже, на вырубленной площадке – деревянное здание Ермоловских ванн. По горе шли извилистые тропинки от Александровских купален к нагорным ваннам (ныне – Пироговские и Народные) и к Елизаветинскому источнику (ныне – Академическая галерея). Растительность на хребте Горячей горы была весьма скудной, так как тонкий слой почвы, пропитанный солями, разрушаемый жарким солнцем, сильными ветрами и ливнями, не представлял благоприятных условий для посадок.

По указанию генерала Г. А. Емануеля летом 1829 г. на северном склоне горы под руководством зодчих Бернардацци была высечена почти прямая дорожка от Александровского источника к Елизаветинскому. Обсадить дорожку решили цепкими горными соснами, которые могли расти на скалистых склонах. В ноябре 1829 г. военно-рабочая команда с архитектором Джузеппе Бернардацци привезла 210 молодых сосенок из закубанских лесов, называемых Гришкиной балкой, под Бермамытом. Тогда же сосны были посажены вдоль новой дорожки, которую посетители Вод окрестили «Мизантропической», так как по ней предпочитали ходить те, кто избегал шумного и людного бульвара. Немногие сосны прижились на новом месте. Через 15 лет их осталось 45, а к 1917 г. – всего 4. При сооружении Елизаветинской (ныне – Академической) галереи, площадка, на которой она строилась, оказалась выше конца старой дорожки и поэтому пришлось прорубить новый завершающий ее подъем. Ныне в южном углу у подпорной стены галереи можно увидеть фрагмент былой «Мизантропической дорожки» и одинокую сосну, которую часто называют «сосной Бернардацци», хотя на вид она не кажется столь древней.

Весной 1843 г. близ Александровского источника на месте старых ванн была построена по проекту зодчего И. Г. Рисса полукруглая деревянная галерея на каменном фундаменте, названная питьевой Александровской. Ее окрестности были благоустроены для прогулок отдыхающих. В начале 1850-х в галерее бывал молодой Л. Н. Толстой, который находил ее «весьма забавной». После 1856 г., когда воду Александровского источника перестали пить, сооружение было разобрано, а окружающая местность приняла прежний вид. Новую попытку благоустроить Горячую гору предпринял около 1890 г. главный садовник Вод Храповицкий, который насадил вдоль нее длинную аллею из декоративных деревьев и кустарников. Но эти посадки не прижились.

В 1900 г. новый директор КМВ В. В. Хвощинский решил разбить на Горячей горе большой курортный парк, поручив его устройство садовникам В. В. Уткину, А. Л. Зегеру, архитекторам И. И. Байкову, А. Н. Клепинину и скульптору Л. К. Шодкому. Благодаря их упорному труду и совместным усилиям весной 1901 г. центральная часть горы с разбитыми дорожками и аллеями приняла живописный вид. Извилистая лестница в несколько маршей с белыми вазами на подпорных стенах вела к горке со скульптурой Орла. На нижней площадке, где когда-то находились Ермоловские ванны, были по строены обширный «кегельбан в два проката, испанский тир и буфет с граммофоном» арендатора Ф. Д. Дмитриева, разбиты клумбы. 1 мая 1901 года состоялось открытие первой части этого парка. А 13 июня садовник-пейзажист А. Л. Зегер приступил к разбивке восточной части парка, выше Ново-Сабанеевских (ныне – Пушкинских) ванн. Он посадил здесь хвойные деревья, разбил цветники и дорожки. Однако сильнейший ливень в конце июля уничтожил почти всю работу Зегера. Через неделю молодой садовник покончил с собой.

К сезону 1902 г. была благоустроена западная часть нового парка на Горячей горе, хотя основная работа здесь была архитектурная. Новая подъездная дорога и новая лестница от грота Дианы вели между цветников и вазонов с цветами на широкую обзорную площадку со скамейками, откуда открывался вид на подкумскую долину. Вход на площадку был украшен двумя колоннами с каменными женскими статуями (скульптор Л. К. Шодкий), которые держали в руках электрические светильники («факелы»). На площадке был устроен небольшой фигурный фонтан, в воде которого вечерами горели разноцветные лампочки. Западнее площадки был сооружен для летнего ресторана Трельяж – беседка из прутьев, в виде дугообразно изогнутой галереи, с вьющимися растениями. Широкая каменная лестница, обсаженная деревьями, вела к Цветной беседке в форме башни. Часть этих сооружений была сделана по проектам архитектора А. Н. Клепинина. Трельяж и два грота на южном склоне горы, куда вела новая дорожка из слободки Кабардинки, взял в аренду В. Н. Шульц, который продавал в них напитки, фрукты, минеральную воду и мороженное. 1 мая 1902 г. парк, названный «Новым», был освящен и открыт. Через две недели здесь состоялось большое народное гуляние в честь дня коронации императора.

Весной 1914 г. тир, кегельбан и буфет Дмитриева на Ермоловской площадке были снесены. В годы Гражданской войны погибли Цветная беседка и Трельяж. В советское время нагорный парк стал неотъемлимой частью Цветника. Во время подготовки к 200-летию Пятигорска аллеи и дорожки на Горячей горе были обновлены, поставлены новые светильники, устроены видовая площадка восточнее Орла и танцплощадка ниже его, на месте бывшей Цветной беседки была сооружена металлическая Китайская беседка по проекту скульптора И. Ф. Шаховской.

Ныне через парк на Горячей горе проходят маршруты пеших экскурсий, на которых гости Пятигорска знакомятся с курортом. Весной здесь цветут фруктовые деревья, благоухают большие кусты сирени и боярышника, а летом загорают «дети солнца».