Ниже и южнее католического костела, фасадом к Лермонтовскому скверу, находится старый незаметный дом с балконом и деревянным мостиком. Дом пользуется особой симпатией у краеведов, интересующихся его историей.

Известным владельцем этого дома был горный инженер Антон Иванович Незлобинский (1847-1899), сын русского священника и грузинки. Он работал на Водах с 1874 г. и принимал активное участие в исследованиях французских гидрогеологов Ж. Франсуа и Л. Дрю. Его имя ныне носит целебный источник (бывший – Михайловский) в Железноводске. Женившись в 1880-х годах на дочери местного жителя, Незлобинский стал владельцем этого особняка, в котором вскоре родились его дети. В 1890 г. лицевой фасад дома был переделан в «классическом стиле» по проекту архитектора Управления Вод А. М. Кочетова. Особняк был оштукатурен и украшен фронтонами со слуховыми окнами, пилястрами, волютами и изящным балконом. Под балконом, между окнами второго этажа, была сделана ниша с подковообразным наличником. Вероятно, ниша служила для лепного украшения или статуи. С западной стороны дом имел деревянную веранду, обращенную на Армянскую улицу (ныне – Гоголя).

Большое двухэтажное каменное здание с мезонином на участке довольно сложного рельефа рядом с костелом было, предположительно, построено в 1860-х годах по проекту городского архитектора Н. И. Невинского. Здание имело несколько входов. Главный фасад был обращен на восток. Восточный вход с арочной нишей был снабжен деревянным мостиком. Мезонин в плане имеет форму креста. Торцы мезонина были оснащены тройными прямоугольными окнами. В целом, лицевые фасады особняка гармонично сочетались с фасадом соседнего костела, создавая подобие небольшого архитектурного ансамбля в этом уголке города.

Однако Незлобинский недолго прожил в этом уютном доме, в 1892 г. его перевели в приднепровский Екатеринослав. Особняк остался собственностью инженера. Его комнаты сдавались посетителям Вод, принося семье владельца небольшой доход. В мае 1899 г. инженер А. И. Незлобинский скончался. Его вдова еще долго сдавала дом.

Одним из жильцов особняка был доктор медицины Василий Александрович Кобылин (1847-1908), представитель старинного дворянского рода. Он был групповым врачом Кисловодска, а затем главным врачом Управления КМВ. Свыше 10 лет Кобылин возглавлял Русское Бальнеологическое общество после доктора С. А. Смирнова. В его гостеприимной квартире часто собиралась радикально настроенная интеллигенция, к которой относился и сам хозяин. За участие в декабрьских волнениях 1905 г. председатель местного комитета самообороны Кобылин был арестован и более года просидел в городской тюрьме, а местные газеты окрестили его «Президентом революции 1905 года в Пятигорске». Жена врача, художница-любитель Антонина Карловна Жмакина, открыла на квартире художественную студию для начинающих. Ее верным помощником в этом деле был знаменитый осетинский поэт и просветитель Коста Хетагуров, бывший ученик Академии художеств. Квартиру Кобылиных в этом доме посещали многие замечательные люди. А. К. Жмакина жила в этом доме до самой смерти в 1920 г. Другим известным жильцом дома Незлобинского был доктор Е. А. Ларин, который принимал больных на своей квартире круглый год. В советское время особняк стал обычным жилым домом с коммунальными квартирами и остается им и поныне. Здесь прошло детство внука А. И. Незлобинского, видного историка В. А. Кузнецова.