Семен Иванович был сыном от первого брака Ивана Абрамовича Варфоломеева. Его мать Мария Павловна умерла когда он был еще ребенком.

Отец Иван Абрамович Варфоломеев являлся участником Русско-Японской войны 1904-1905 гг. Служил в чине младшего унтер офицера 6 роты 122 Тамбовского пехотного полка. Участвовал в боях с яонцами.

Отец женился в 1911 году на Жучковой Пелагее Ивановне из соседней деревни Очево.

Семен Иванович был женат на Прасковье Николаевне. У них было четверо детей: Анатолий, Евгений, Валентина и Тамара.

Семен Иванович Варфоломеев пропал без вести в Вяземском котле в октябре 1941 году.