Дворец в его нынешнем виде был построен в несколько этапов. Левая часть здания возведена в Воронцовыми по проекту неизвестного архитектора.
Флигель справа от старого дома пристроен в 1821-1822 гг. новым владельцем участка Нарышкиным.
Дворцом владели Софья Нарышкина и её супруг Пётр Шувалов, потом их сын и невестка.
В 1919-1923 (1925) гг. здесь был Музей быта. Затем собрание Шуваловых было передано различным музеям.
В его стенах размещались Дом печати, дом техники, а после 1965 года – Дом дружбы и мира с народами зарубежных стран.
В 2013 г. в нём официально открылся музей Фаберже.
