Летом супруги уехали в Загорье Могилевской губернии, после городской зимы им хотелось тишины и покоя. Они катались на лодке, собирали в лесу грибы и ягоды. Сюда же на каникулы приехали и дети с Марией Михайловной. Все вместе проводили удивительные дни, безмятежные и счастливые. Когда же лето подошло к концу и стало сыро и прохладно, в окрестных деревнях вспыхнула скарлатина, но Лидия все никак не хотела покинуть Загорье. Она ездила по деревням и помогала матерям ухаживать за больными детьми, не подозревая о том, что сама в детстве этой болезнью не переболела. Лидия заразилась и стала угасать с каждым днем. Иванов был все время рядом, он понимал, что она уходит. 17 октября Лидии не стало…
«Боль смертная той смерти все жива», – напишет Иванов другу спустя много лет после смерти жены. Ошеломляющим был рассказ Иванова о ее последних минутах, который сохранился в пересказе М. Волошина: она умерла в его объятиях. Ее непредвиденный и скоропостижный уход потряс всех. И вдруг вспомнили, что она была не только ярчайшей женщиной и хозяйкой модного литературного салона, но и незаурядной писательницей. И вслед за Блоком многие тогда повторили: «Того, что она могла дать русской литературе, мы и вообразить не можем». Эти слова были сказаны поэтом по поводу сборника ее рассказов «Трагический зверинец» – наиболее цельной и совершенной книги Зиновьевой-Аннибал.
Вскоре после смерти Лидии Иванов написал 42 сонета (столько лет было Лидии, когда она умерла) и 12 канцон (столько лет они прожили вместе). Они составили раздел «Любовь и смерть» в его книге «Сог агdens» («Пламенеющее сердце»). Сборник открывался стихотворением «Менада», в котором он запечатлел дионисийскую природу жены, а в сонетах варьировалось нерушимое единение двоих («Мы – два грозой зажженные ствола», «Мы два в ночи летящих метеора», «Мы двух теней скорбящая чета», «Мы две руки единого креста»). Но во всех стихотворениях он в символических образах отразил ту «могучую весеннюю дионисийскую грозу», после которой все в его жизни «обновилось, расцвело, зазеленело».
И Лидия Дмитриевна осталась для него навсегда живой. Во всех его скитаниях рядом с ним был ее портрет, написанный после ее смерти Маргаритой Сабашниковой. Еще многие годы она являлась ему в снах и видениях, беседовала с ним, давала советы. А в одно из таких «посещений завещала» ему свою дочь, Веру Шварсалон, сказав: «Дар мой тебе дочь моя, в ней приду». Это определило выбор Иванова: он женился на ее дочери Вере, и у них родился сын Дмитрий, бывший одновременно сыном Вячеслава и внуком Лидии Дмитриевны.