Здания на этом участке появлялись ещё в первой половине XVIII века и эти земли сменили много хозяев. В начале XIX века их приобрела Елизавета Александровна, вдова Александра Николаевича Строганова. Затем владельцем стал их сын, Григорий Александрович, а в 1857 году их унаследовал его внук, Павел Сергеевич Строганов (1823-1911). Как и большинство представителей рода, он был коллекционером и меценатом, поэтому свой новый дом он превратил в картинную галерею, разместив там китайскую и итальянскую коллекции живописи. Среди его собрания были полотна Тициана, Рубенса, Липпи, де Риберы и других художников.