На это послание Пушкин ответил Толстому «Стансами»:
Философ ранний, ты бежишь
Пиров и наслаждений жизни,
На игры младости глядишь
С молчаньем хладным укоризны.
Ты милые забавы света
На грусть и скуку променял
И на лампаду Эпиктета —
Златой Горациев фиал.
Яков Николаевич Толстой вместе с князем Трубецким, Токаревым, Ф. Глинкой и другими был деятельным членом «Союза благоденствия» — одной из первых тайных организаций декабристов. Во время восстания декабристов на Сенатской площади 14 декабря 1825 года Яков Николаевич находился в Париже, это спасло его от ссылки и каторги. Живя в Париже, Я.Н. Толстой сотрудничал с журналом «Московский телеграф» (по приглашению князя П.А. Вяземского) — писал статьи по русской истории и литературе. Впоследствии, в 1837 году, он был прощен царем, назначен корреспондентом Министерства народного просвещения России в Париже и стал тайным советником III отдела жандармерии. В 1867 году Я.Н. Толстой умер — похоронен он в Париже на Монмартре.
В XVIII–XIX веках имение Новые Ельцы было одним из больших и богатых в районе озера Селигер. Русский ученый, географ, член Петербургской академии наук Николай Яковлевич Озерецковский в начале XIX века возглавил научную экспедицию, в назначение которой было вменено уточнение истока Волги, изучение озера на Валдайской возвышенности. Во время этой экспедиции Озерецковский посетил дворянскую усадьбу Толстых и вот что писал об этом: «Село Новые Ельцы господ Толстых, при коем церковь богатая каменная Воскресения Христова, дом каменный о трех этажах, полотняная фабрика на 70 станках, кожевенный завод… На полотняной фабрике ткут и приготавливают белением ревендук, фламандское полотно и парусину… Тут был прежде всего театр, музыка духовая и роговая, певчие и перевоз на противоположную сторону». (Н.Я. Озерецковский «Путешествие на озеро Селигер», СПб, 1817, с. 104)
Помещики Толстые жили в Петербурге. Имение было ухоженным, приезжало много гостей, проводились балы, на клумбах росли цветы, гости гуляли по парку. Парк был устроен в пейзажном стиле со спускающейся к воде лестницей и беседками среди старых лип и дубов. Во второй половине XIX века дом перестроили: на третьем этаже появилась стеклянная беседка, откуда виднелись озерные и лесные дали; в главном здании утроили танцевальную залу и жилые комнаты для хозяев и гостей. Но бывали периоды в истории имения, когда оно приходило в упадок, а хозяева не появлялись здесь десятилетиями.