Весной 1905 года Лидия и Иванов покинули Шатлен – после смерти старика отца их пребывание в Швейцарии стало неоправданным – и вернулись в Россию. Там, в Петербурге, в поисках жилья Лидия облюбовала необычную квартиру с круглой башенной комнатой. Поселившись здесь, Иванов обращает к Лидии несколько стихотворений под общим названием «Сивилла»:
Пришлец на башне притон я обрел
С моею царицей – Сивиллой.
Над городом-мороком, – смутный орел
С орлицею ширококрылой.
В том же 1905 году Лидия и Иванов организовали в этой квартире литературный салон «Башня», которому суждено было просуществовать до 1909 года. В архитектуре самого дома на Таврической улице, 25, действительно была (и есть сейчас) башня, вернее угол дома, отстроенный на манер башни с куполом, вид из окон которой открывал необыкновенную панораму Петербурга, а пребывающие внутри чувствовали себя «высоко над миром»: над улицей, суетой и обыденной жизнью. Название салона одновременно подчеркивало и некую изолированность культурной элитарной жизни собиравшихся здесь гостей – Анны Ахматовой, Николая Гумилева, Михаила Кузмина, Зинаиды Гиппиус, Валерия Брюсова, Александра Блока, Сергея Городецкого. В этом салоне прозвучала практически вся поэзия Серебряного века и зародилась новая школа поэтической декламации. Широта поэтического таланта и энциклопедическая образованность хозяина салона привлекали сюда и писателей, поэтов и философов самых разных школ и направлений. Не случайно в оценках своих современников супружеская чета В. Иванова и Л.Д. Зиновьевой-Аннибал слыла как обладающая уникальным даром притяжения. На «Башне» проходили интереснейшие дискуссии и лекции на мистические, философские, оккультные, религиозные и, конечно, поэтические темы. Свои произведения здесь читали Розанов, Луначарский, Бердяев, Булгаков, Шестов. Традиция собираться по средам практически не прерывалась, и лишь зимой 1907 года на время болезни Лидии Дмитриевны – она лежала в лечебнице с воспалением легких и очень медленно выздоравливала – «среды» были отменены. В это время к Ивановым приходили только самые близкие друзья: Макс и Маргарита Волошины, Кузмин, Городецкий, Петр Струве.
