На месте небольшого сквера с северной стороны Питьевой галереи в Цветнике некогда находилась Скорбященская церковь, родоначальница всех пятигорских храмов. Она была первой постоянной церковью на КМВ.

Больные люди особенно нуждаются в обращении к Богу. Первые посетители Горячих Вод жили в Константиногорской крепости и посещали домовую гарнизонную церковь, которая занимала часть казармы. С 1813 г. богослужения на Горячих Водах отправлялись в летней палаточной церкви, переданной из упраздненного российского консульства в Персии. Весной 1825 г. по распоряжению генерала А. П. Ермолова архитектор КМВ Джузеппе Бернардацци сделал два проекта приходской церкви для Горячих Вод, один из которых был утвержден 16 апреля 1825 г. Место для храма было выбрано на большом пустыре в горячеводской долине. По закону приходские церкви строились иждивением самих прихожан. Первые сборы жителей селения и доброхотные пожертвования посетителей были столь невелики, что возведение храма грозило затянуться на долгие годы.

В мае 1827 г. на Горячие Воды для лечения прибыл 65-летний петербургский архимандрит Товия (Тихон Моисеев), наместник Александро-Невской Лавры.

Врачи рекомендовали ему пожить на курорте два сезона подряд, не покидая этих мест. Узнав, что на Водах нет храма, а построение приходской церкви задерживается малыми сборами, Товия решил помочь местным жителям. Он обратился к посетителям Вод, которых летом 1827 г. было около тысячи. Они откликнулись на его призыв, и к наступившей осени было собрано около 8 тысяч рублей, которых вполне хватало на постройку деревянной церкви. Весной 1828 г. каменщики и плотники приступили к работе на месте, которое было молитвенно освящено Товией, и уже летом здание было закончено.

Это была деревянная церковь в простом классическом стиле на 200 человек, холодная, на каменном фундаменте, внутри оштукатуренная, а снаружи обшитая тонкими досками и окрашенная желтой краской. Она была украшена портиками с колоннами, под железной крышей, с большой деревянной колокольней. Иконостас и утварь бывшей палаточной церкви поступили в новый храм.

Летом 1828 г. архимандрит Товия освятил новую приходскую церковь во имя Пресвятыя Богородицы Всех Скорбящих Радости, дабы престольная чудотворная икона помогала больным посетителям Вод. 16 августа 1828 г. Товия покинул Горячие Воды. В память о его посещении безымянный целебный источник в новом Емануелевском саду был назван Товиевским.

Первым настоятелем Скорбященской церкви стал Павел Александровский, чей дом находился рядом с храмом, немного восточнее его. В 1830-х годах на колокольне были установлены «боевые часы для знания времени купания». Город быстро рос и вместе с ним увеличивался приход. Во время поездки по Кавказу император Николай I, осматривая 16 октября 1837 г. Пятигорск, посетил молебствие в этом храме и отметил, что «церковь крайне тесна и не соответствует городу во всех отношениях». Весной 1841 г. в церкви появился второй священник Василий Эрастов (1814-1903). Известно, что настоятель Павел Александровский, нарушив церковные правила, принял посильное участие в похоронах убитого на дуэли поручика М. Ю. Лермонтова.

Летом 1858 г. в Пятигорск приехал новый кавказский епископ Игнатий (Брянчанинов), ныне причисленный церковью к лику святых. Около двух месяцев пробыл он на Водах, принимая ванны и посещая ближайщие храмы. Владыка отметил, что Скорбященская церковь «тесная, низменная, невыносимо душная». Собрав местное духовенство и городские власти, епископ Игнатий предложил расширить существующую церковь, устроив с правой стороны новый придел, и соорудить деревянный купол, дабы устранить духоту. Указанная перестройка была сделана к Рождеству 1859 г. Новый придел был освящен во имя святого Благоверного князя Александра Невского, покровителя императора Александра II. Новый иконостас для главного престола был пожертвован иногородним купцом Огарковым, а иконостас придела был подарен московскими гражданами при содействии известного благодетеля П. А. Лазарика.

Весной 1866 г. скончался первый настоятель храма Павел Александровский, который был похоронен возле церкви. Тогда же вокруг храма была сооружена ограда из каменных столбов с решетками. Спустя три года был освящен пятигорский Собор, а первая церковь скоро была приписана к нему. С 1885 г. храмы Пятигорска входили в состав новой Владикавказской епархии.

Скорбященская Церковь была ровесницей города, частью его истории. Ее посещали во время лечения известные поэты и писатели, художники, музыканты и певцы, ученые, военные, государственные и религиозные деятели. Здесь крестились, причащались, венчались, отмечали великие праздники и отпевали родных и близких первые поколения пятигорчан. Метрические книги в Скорбященской церкви велись до 1870 г. включительно. В 1898 г. южнее здания храма была построена церковно-приходская школа.

Богослужение в Скорбященской Церкви было прекращено в 1927 г. Редкие кадры фильма «Княжна Мери», снятого грузинской киностудией летом 1926 г., запечатлели облик Скорбященской церкви перед ее закрытием. Небольшое здание было перестроено под переплетную фабрику. В тяжелые военные годы часть здания церкви было разобрано на дрова. После освобождения города, горсовет передал здание храма под устройство в нем детской библиотеки. Однако здание церкви было уже разрушено до такой степени, что не подлежало восстановлению. Весной 1944 г. здание Скорбященской церкви перестало существовать. В 1972 г. на ее месте был разбит сквер у Питьевой галереи. В 1995-1997 гг. западнее здания Бальнеологического института была построена новая приходская церковь в виде одноглавой базилики (арх. А. С. Кихель), освященная во имя Пресвятыя Богородицы Всех Скорбящих Радости.