Начало Великой Отечественной войны он встретил уже немолодым человеком, ему было за пятьдесят. Когда в августе 1941 года Ленинград начал подвергаться непрерывным бомбёжкам, Сергей Леонидович Рубинштейн был включён в первый список эвакуируемых научных работников. Однако он не уехал, а остался в городе и, работая проректором педагогического института им. А. И. Герцена, взял на себя руководство процессом эвакуации его сотрудников.

В годы войны Сергей Леонидович Рубинштейн проявил незаурядное мужество. Блокадной зимой 1942 года, преодолевая физическую слабость, он ходил через весь город в окраинный госпиталь, чтобы поделиться пайком с умирающим от голода аспирантом.

За проявленное при обороне Ленинграда мужество и отвагу Сергей Леонидович Рубинштейн был награждён несколькими правительственными наградами.