У Цветника, напротив старинного здания Института Курортологии находится огромный дом, где размещаются банк и Краеведческий музей. Сто лет назад здесь находилась первая крупная комфортабельная гостиница курорта, которая ныне считается, в основном, утраченным зданием.

Летом 1824 г. было дано официальное разрешение на круглогодичное пребывание на Водах первого постоянного главного врача КМВ доктора Федора Петровича Конради (1775-1848), родом из Швейцарии. После этого ему был отведен пустопорожний земельный участок напротив строящейся казенной Ресторации.

Здесь, в 1826 г., по проекту зодчего Джузеппе Бернардацци были возведены двухэтажный деревянный дом на каменном фундаменте с железной крышей и два небольших деревянных флигеля по его бокам. Крестообразный в плане главный дом, где жил доктор Конради с большой семьей и находилась его приемная, был украшен четырехколонным портиком с фронтоном, который находился прямо напротив портика Ресторации. Летние флигели предназначались для сдачи посетителям Вод. После смерти доктора Конради, его наследники в 1860 г. продали усадьбу с постройками администрации КМВ, которая устроила здесь казенную аптеку. В бывшем двухэтажном доме Конради до 1901 г. размещалась Контора Пятигорской группы, а во флигелях – торговые помещения.

По инициативе директора КМВ С. А. Смирнова в 1863 г. в южной части усадьбы зодчий Н. И. Невинский по указаниям известного химика проф. Карла Фрезениуса выстроил каменное двухэтажное здание Химической лаборатории для производства анализов минеральных источников. Заведующим лабораторией был приглашен Федор Федорович Шмидт (1807-1882), опытный химик из Московского университета. На нижнем этаже здания также находились научная библиотека, правление Русского бальнеологического общества и геологический музей. Верхний этаж занимала служебная квартира для главного химика КМВ. Здесь долгое время жил Шмидт, а затем его приемник – Александр Иванович Фомин.

В августе 1901 г. было решено построить на этом участке огромную новую Казенную гостиницу, взамен старой и тесной Ресторации. Следуя новому закону об аренде участков казенной земли в районе КМВ, директор КМВ В. В. Хвощинский заключил с бывшим городским старостой Петровска-Порта Александром Михайловичем Михайловым договор, согласно которому последний получал в аренду на 60 лет всю бывшую усадьбу Конради, принадлежащую Управлению КМВ. Арендатор Михайлов обязан был в течение двух лет выстроить на этом участке за свой счет Казенную гостиницу по проекту Управления Вод, а также возвести новое здание Химической Лаборатории в Казенном саду.

Вероятно, проект новой Казенной гостиницы на 75 номеров составил архитектор И. И. Зелинский. Снос всех старых зданий на участке, кроме Химической лаборатории, был произведен осенью 1901 г. Подрядчиком был сам арендатор А. М. Михайлов, имеющий богатый опыт сооружения зданий. Технический надзор и руководство строительными работами новой гостиницы в 1902-1904 гг. осуществлял гражданский инженер А. Н. Клепинин, который в ходе строительства внес некоторые изменения в исходный проект.

Трехэтажное с мансардой здание Казенной гостиницы из машукского камня и желтого кирпича было построено в стиле раннего модерна, который еще не утратил связи с эклектикой. В плане здание имеет форму каре с внутренним двором. Длинный северный и короткий восточный фасады гостиницы были основными. Особый акцент был сделан на срезанный угол с эркерами, который был увенчан замысловатым куполом и видовой площадкой. Первый этаж был представлен широкими проемами витрин магазинов. Второй этаж заключал комфортабельные номера с широкими окнами и длинными балконами. Парные узкие окна третьего этажа, с небольшими балконами, указывали на более скромные номера. Мансардный этаж имел широкую прогулочную галерею, за которой скрывались самые дешевые номера. Он был украшен кирпичными арками с треугольными щипцами и гипсовыми женскими фигурами. Веранда на металлических столбах и с навесом у восточного фасада являлась летним дополнением зала ресторана на втором этаже. Во дворе гостиницы находился небольшой цветник с фонтаном. По первоначальному плану предусматривалось с южной стороны на месте Химической лаборатории пристроить к гостинице новое здание театра, важное для курорта, но арендатор Михайлов предпочел выстроить дополнительный южный флигель с 75 номерами, по проекту А. Н. Клепинина. Этот флигель заметно отличается по архитектуре и размерам от основного здания Казенной гостиницы. Кроме того, Михайлов устроил на нижнем этаже гостиницы 5 минеральных и 5 грязевых ванн. Поражает изобилие лепного декора (маскароны, химеры, листья каштана и пр.) и разнообразие витых металлических решеток растительного орнамента, украшающих все фасады. Это обилие небольших архитектурных деталей и нагромождение декора скрадывает общее восприятие здания. Заметно желание зодчего или его заказчика поразить зрителя кричащей роскошью сооружения.

23 мая 1904 г. состоялось торжественное открытие новой Казенной гостиницы. В начале XX века в этой крупнейшей и комфортабельной гостинице останавливались многие известные личности, посещавшие КМВ. На первом этаже помещались различные магазины, парикмахерская и первый пятигорский электробиограф (кинотеатр) Р. Штреммера «Реккорд-Био». В 1906-1908 гг. в просторной квартире южного флигеля, имеющей отдельный вход с Театральной (ныне – Братьев Бернардацци) улицы, жил зодчий В. Н. Семенов с семьей. Затем там несколько лет помещался пятигорский клуб. Вскоре у казенной гостиницы появились серьезные конкуренты – частные комфортабельные отели «Бристоль» и «Эрмитаж». В 1912 г. А. М. Михайлов отказался платить новый налог на недвижимое имущество, который установили городские власти. Началось долгое судебное разбирательство. В 1916 г. Михайлов был вынужден уступить свои права на пятигорскую казенную гостиницу за 600 тысяч рублей московской ресторанной компании «Альпийская роза», которая вступила во владение с 1 января 1917 г. В новогоднюю ночь 31 декабря 1918 г. по невыясненной причине в гостинице, превращенной в госпиталь, начался сильный пожар, уничтоживший интерьеры северного и восточного крыльев. Обгоревшие руины долго портили вид города.

К капитальной перестройке обгоревшей части здания приступили в 1925г., когда в восточном крыле открыли курортный пансион на 32 номера, а в северном крыле было устроено здание местного отделения Госбанка и Сберкассы в стиле конструктивизма по проекту архитектора М. И. Мержанова. Облик здания был принципиально изменен. Первоначальный облик сохранили только часть интерьеров восточного корпуса и южный флигель. Во время ремонта в 1990-х годах по проекту С. М. Караковского были открыты старые стены гостиницы. В настоящее время огромное здание бывшей гостиницы занимают телефонная станция, пятигорский банк, Музей краеведения и жилые квартиры. В южном флигеле размещается медицинское училище.