По обе стороны пр. Кирова на пологом спуске от ул. Соборной до ул. Дзержинского располагается большой сквер, в южной части которого находится знаменитый фонтан «Гномы». Скверу на центральной площади города досталась очень сложная судьба.

К 1820 г. здесь появилась стихийная застройка из турлучных домиков, возведенных отставными и семейными солдатами местных полков. Отсюда начиналась Солдатская слободка, которая позднее растянулась вдоль нового Георгиевского тракта (ныне – Теплосерная улица). Спустя десять лет всю эту местность, между старым селением Горячие Воды и новым городом Пятигорском, уже занимал большой базар.

После строительства главного городского собора в 1869 г. и перевода базара в новое место (ныне – Нижний рынок) большая площадь получила название Соборной. На юге этой площади был позднее разбит небольшой городской сквер.

В 1889-1890 гг. в центре этого южного сквера был сделан огромный фонтан «Великан», который стал основой композиции сквера. Вокруг него была разбита площадка со скамейками, обсаженная кустами и деревьями. В верхней и нижней частях южного сквера были разбиты цветники, проведены песчаные дорожки, посажены кустарники и деревья. Сквер был обнесен длинной решетчатой оградой на каменном цоколе, с несколькими проходами. Сильная струя фонтана «Великан» била на высоту до 10 метров, привлекая множество любопытных горожан и посетителей Вод. В верхней части сквера был построен легкий павильон с булочной и кондитерской К. Я. Шумова, а позднее – здание для местного отделения Российского общества садоводства. Вокруг «Великана» появились кумысные и буфеты. В начале XX века купец Л. Ю. Юхневич, а затем и другие построили вдоль северной границы южного сквера несколько кирпичных павильонов и деревянных киосков под цветочную и прочую торговлю. В таком павильоне у фонтана помещалось и фотоателье А. К. Энгеля.

К городскому скверу также относились и два зеленых участка с северной стороны ул. Царской (пр. Кирова). Восточный участок, имевший полукруглую форму, был соборным сквером и находился прямо напротив входа в храм. Западный участок из-за своей формы назывался «треугольником». Здесь около 1910 г. был сооружен большой деревянный павильон для электробиографа (т.е. кинотеатра) братьев Боммер, который в народе называли «Морским дном», т. к. его фойе было расписано чудными видами подводного царства. Городская дума планировала построить здесь огромный Пассаж, вмещавший в себя театр, клуб, ресторан, магазины, курзал и т. п., но этот проект не был осуществлен.

В советское время городской сквер не раз менял свой облик. Осенью 1925 г., в верхней части южного сквера был установлен бюст Г. Г. Анджиевскому (скульптор Л. К. Шодкий), и этот сквер стал называться имени Анджиевского. А у юго-западного конца Лермонтовского сквера в ноябре 1925 г. был воздвигнут памятник Ленину и началось благоустройство северного, ленинского сквера. Площадь, на которой находились эти скверы, стала играть важное политическое значение в жизни города, который в 1934 г. стал краевым центром. Поэтому в 1935-1936 гг. был снесен огромный собор и заново благоустроена площадь у памятника Ленина. Появилась каменная ограда вдоль ленинского сквера, на котором были разбиты цветники и устроен фонтан. В углу южного сквера, напротив памятника Ленина, была сделана каменная трибуна для местных руководителей, мимо которой проходили праздничные демонстрации. Говорят, что на благоустройство скверов ленинской площади пошел камень от разбитого собора. В военное время памятник Ленину был снесен, пострадал и фонтан «Гномы». В северном сквере было устроено кладбище немецких солдат. После войны в скверах были проведены восстановительные работы. Ниже фонтана в южном сквере в конце 1952 г. открыли бронзовый памятник Сталину, но и он был вскоре снесен по известным причинам. В 1950-х годах в южном сквере построили кафе в виде колонного портика с верандами, а через десяток лет рядом появился ювелирный магазин «Алмаз». У каменной трибуны, на стене которой был написан текст гимна города, устроили портретную галерею почетных граждан Пятигорска (ныне она расположена на пл. Ленина). В 1980-х годах трибуну убрали. В октябре 1988 г. в бывшем «треугольнике» была сделана закладка памятника Л. Н. Толстому.

В наши дни южный сквер плотно застроен с верхней и нижней сторон. Здесь находятся автостоянка, киоск экскурсионного бюро, кафе, магазин, летние кафе и ресторан, цветочный магазин и художественный салон. В центре южного сквера сохраняется фонтан «Гномы». Через весь сквер идет широкая аллея, выложенная плиткой, которая в апреле 2003 г. получила название Александровской, в честь императора Александра I, основателя КМВ. В северном сквере разбиты большие зеленые газоны, растут различные деревья, на месте бывшего фонтана устроена круглая цветочная клумба.