Естественным продолжением бульвара на пр. Кирова, за Академической и Михайловской галереями, является бульвар Гагарина, который тянется до самого Провала. Таинственный большой Провал с самого появления курорта на Горячих Водах привлекал любопытных посетителей и местных жителей, которые ходили и ездили верхом к нему по узкой извилистой дорожке.

Осенью 1857 г. московский предприниматель П. А. Лазарик начал сооружение длинного туннеля к подземному озеру на дне Провала. Сделав нивелировку и измерения у подошвы склона, на котором зияло жерло провала, одновременно приступили к пробивке туннеля, к расчистке площадки перед ним и устройству удобной экипажной дороги от Михайловской галереи. Эти работы завершились к 23 августа 1858 г., когда состоялось торжественное освящение тоннеля и грота с подземным озером. Его совершил епископ Кавказский Игнатий (ныне канонизированный как российский святой), в присутствии губернского и местного начальства. Торжественная процессия началась после литургии в Скорбященской церкви. Крестный ход с пением медленно поднялся по Елизаветинскому шоссе к Михайловской галерее, а затем к Провалу по новому шоссе до площади перед тоннелем, который был освящен в честь цесаревича Николая Александровича. С тех пор в летние сезоны местная публика легко добиралась по этому шоссе до Провала и обратно. В 1860-х годах у самого входа в тоннель с кирпичным порталом на небольшой круглой площадке некий предприимчивый арендатор возвел деревянный павильон для ресторана «Кафе-Провал», открытый в летнее время с утра до вечера.

В 1900 г. было решено устроить дачное селение в Провальском районе, где первоначально был выделен 21 арендный участок выше провальской дороги. В январе 1901 г. Управление Вод утвердило проект устройства нового бульвара в три аллеи ниже провальской дороги, от границы Емануелевского парка до крайнего восточного дачного участка № 17. Этот прогулочный бульвар был распланирован и обсажен деревьями и кустарниками в течение 1901 г. Со следующего года началась сдача участков и застройка их жилыми зданиями. Для удобного подъезда к верхним дачам летом 1903 г. было построено верхнее шоссе шириной 16 метров, заменившее старую дорогу. Благодаря земляным работам и каменным выемкам новая дорога почти не имела поворотов и подъемов. Чтобы привлечь публику к новым дачам, ниже провальского бульвара провели одноколейную линию трамвая, которая связала дачное селение с городом. Трамвайная линия «Провал-Цветник» стала действовать летом 1904 г. В это время на Провале было сдано под постройку более 30 участков. С появлением новых нижних дач в 1908 г., ниже бульвара, рядом с трамвайной линией подрядчик Акимов на месте ухабистой дороги устроил ровное нижнее шоссе. Провальский бульвар служил для променада дачной публики.

В 1920-х годах провальские дачи были национализированы и превращены в корпуса советских санаториев. Трамвайная линия «Цветник-Провал» действовала до оккупации города. В 1943 г. ее решили не восстанавливать по причине довольно крутого спуска, и вскоре линия была разобрана военнопленными немцами. В 1968 г. безымянный курортный бульвар на Провале получил название в честь первого советского космонавта Ю. А. Гагарина. В конце 1970-х, при подготовке к 200-летию Пятигорска провальский бульвар был полностью обновлен. Были сделаны новые лестницы, разбиты новые цветники и клумбы, посажены деревья и кустарники, установлены новые светильники. Ныне бульвар Гагарина является основным местом для прогулок отдыхающих из окружающих его санаториев.