Помещики Толстые — владельцы усадеб Новые Ельцы и Бухвостово — дальняя ветвь рода графов Толстых. Свою родословную, как и графы, они возводят к легендарному Индресу, который выехал в город Чернигов из немецких земель (в то время их называли Цесарские земли) в 1353 году с двумя сыновьями и якобы с дружиною в три тысячи человек. Индрес крестился и был наречен при крещении Леонтием. Один из потомков Индреса получил от Великого московского князя Василия Темного прозвище Толстого, от него и пошла на Руси многочисленная графская и дворянская фамилия Толстых.
Предки осташковских помещиков в XVII веке служили ржевскими стольниками. Тогда они и получили земли на западном и восточном берегах Селигера. Согласно геральдическим книгам, род Толстых внесен в гербовники Московской, Рязанской, Орловской, Калужской и других областей. Однако род осташковских Толстых оставался малоизвестным. Некоторые из них имели генеральские чины, были уездными предводителями дворянства, но в основном вся их деятельность состояла в устройстве родовых вотчин.
Наиболее известным из них был Яков Николаевич Толстой, родившийся в Новых Ельцах в 1791 году, старший из трех сыновей богатого помещика Николая Толстого. Почти 20 лет своей жизни он провел в родовом имении. С началом Отечественной войны 1812 года вступил в армию, был участником многих сражений, награжден орденом Святого Владимира с лентой. После похода на Париж служил в Павловском полку, а затем — при Генеральном штабе. В те же годы на заседаниях литературного кружка «Зеленая лампа» в Петербурге он познакомился с А.С. Пушкиным. Их дружба продолжалась долго, но в основном по переписке. Яков Николаевич пробовал свои силы в литературе, сначала это не очень у него получалось. Чтобы дать представление о поэтическом творчестве Толстого, можно привести одну строфу из его послания Пушкину:
В моих стихах излишество слогаРезцом своим ты отсеки
И от таланта, хоть немного
Ты своего мне удели…