Последний из владельцев имения Леонид Толстой за долги заложил усадьбу. Ее купил драгунский корнет Сафонов, родом из Торжка. Получив наследство, он привел усадьбу в порядок, отстроил заново театр, завел артистов. В парке, который от дворца террасами спускался на юг к воде, вдоль широкой лестницы в чугунных вазах пестрели цветы и струились фонтаны. На сваях стояли пристань и купальня с кружевными арками. На курганчике, который поднимался над водой, располагалась чудесная арка, а над ней возвышался мраморный Амур, держащий в руках сердце, пронзенное стрелой. В праздники в Новых Ельцах бывало много знаменитых гостей. Но вскоре Сафонов разорился, и имение вновь пришло в запустение. Однажды вдруг под Новый год явился он на тройках, с многочисленными гостями. В разгар пира Сафонов сказал: «С Новым годом, господа! Желаю вам счастья в нем. Я же пережил свое счастье и сейчас ухожу от вас. Прощайте-с!» И с тем пустил себе пулю в лоб. После смерти оказалось, что за пять лет Сафонов сумел прожить свои пять миллионов и имел три миллиона долга. Имение уже давно было заложено. Долго не находилось охотников на него, так как стоило оно больших денег. За имением присматривал урядник Кононов, который жил во флигеле напротив дома. Все одичало: скажем, в зале нижнего этажа стояла верховая лошадь урядника, туда же убиралось и сено, которое он косил в парке рядом.
В начале XX века имение купил управляющий банком Столыпина — немец Нейгард. Он учел природную красоту местности, климатические условия и хотел в дальнейшем построить в Новых Ельцах санаторий.
Но вскоре произошла революция. Имение было национализировано. В дальнейшем здесь функционировали пионерский лагерь и дом отдыха национальных меньшинств. Во время Великой Отечественной войны был сильно разрушен барский дом, также пострадал парк — выпиливались дубы...
В 1946 годв в Новых Ельцах была открыта турбаза «Селигер» всесоюзного туристского маршрута, а с 1968 года турбаза начала круглогодичное функционирование.
В 1957 году, после окончания Всемирного фестиваля молодежи и студентов в Москве, в Новых Ельцах прошел Всемирный молодежный туристский слет. 27 стран мира прислали на Селигер свои делегации. Здесь проводились туристские соревнования, эстафеты, встречи с концертами у костров. На память о своем пребывании участники молодежного слета за один день построили беседку со знаками Всемирного фестиваля. Эта беседка существует до сих пор.
Главный дом усадьбы сохранился до сегодняшнего дня, своей классической красотой напоминая нам о прошлом. Два одноэтажных домика, так
называемые хозяйственные постройки, флигеля, теперь служат
почтой и администрацией отеля, а в банкетном зале раньше были танцевальные залы. Дом вдоль дороги — бывшая ткацкая фабрика. Дубовая и
берёзовая аллея — ещё одна историческая гордость села Ельцы. Этим дубам,
равно как и многим другим деревьям, третий век идёт. Так и говорят здесь
про них: «Некоторые при барине посажены».
