Основа дома — одноэтажный жилой дом в семь осей по фасаду, построенный в начале 1740-х годов. Справа от него были расположены ворота. Его владельцем изначально был Пётр Тимофеевич Савелов в дальнейшем — Мусин-Пушкин, Разумовский, Морков (при котором в 1790 году на месте ворот был построен трёхэтажный флигель).

По другим данным, порядок владельцев был несколько иным: после смерти Петра Тимофеевича Савелова дом купил владелец сахарной фабрики Томас Себек, далее им владел Сергей Сергеевич Гагарин (дед ранее упомянутого), с 1776 года — Алексей Иванович Мусин-Пушкин, с 1780 года — Пётр Кириллович Разумовский, с 1787 года — Аркадий Иванович Морков, с 1792 года — Карл Иванович Амбургер (далее так же — Хитрово, де Сериньи).

В начале XIX века дом достался вдове действительного статского советника Захара Хитрово Александре Николаевне, которая в 1807 году устроила в здании домовую церковь Ахтырской Божией матери. После неё дом достался дочери, Софье Захаровне, по второму браку де Сериньи. В 1834 году дом купил Монферран, который продал его за 150 000 рублей вместе с проектом обновления П. Н. Демидову (который также владел соседним домом, 43, и который также перестраивал для него Монферран). Современный вид здания оформил в 1835—1840 годах Огюст Монферран. Центр правой части современного здания выделен четырьмя колоннами, стоящими вплотную к стене, его венчает парапет с четырьмя скульптурами, будто продолжающими колонны. Левая часть дома — трёхэтажный флигель, отодвинутый в глубину участка, перед которым расположена открытая терраса с мраморными бюстами на ограде; итого в здании сочетаются три объёма разной высоты. Внутренний двор окружают четырёхэтажный и трёхэтажные корпуса.

Подобная планировка отразилась на интерьерах: для классицизма характерно анфиладное расположение помещений, что в данном здании оказалось невозможным. В правой части, вытянутой в глубину участка, был обустроен большой зал. Вход был расположен с угла здания, что усиливало несимметричность фасада.

Парапет правой части украшают 3 горельефа: «Франциск I у умирающего Леонардо да Винчи», «Микеланджело показывает папе Павлу III проект собора Святого Петра в Риме», «Карл I подает Тициану кисть». Над парапетом был скульптурный герб Демидова. Террасу украшали барельефы на темы басен Лафонтена: «Заяц и черепаха», «Волк и овца»,

«Лев и мышь», «Обезьяна и дельфин» и «Две змеи» (были утрачены и позднее восстановлены).

Мебель по проекту Монферрана делалась преимущественно из красного дерева, а также из дуба, берёзы, ясеня у Гамбса. Оформление было одним из первых образцов эклектики.

Отделка помещений была изменена в 1890-х годах. В некоторых из них сохранились панели и двери из дуба и ореха, мраморные и резные камины. Лучше всего сохранилась отделка вестибюля: нижняя часть стен облицована панелями из дуба, которые украшены филёнками с полукруглым верхом. На стенах прямоугольные панно в профилированной рамке, сверху стен карниз на лепных кронштейнах. В вестибюле расположена беломраморная лестница с золочёной бронзовой вазой-канделябром. Перила начинаются с большой волюты, пол оформлен чёрно-белыми, в шахматном порядке, мраморными плитами.

У Большого зала по трём сторонам — дубовая галерея. Перекрытие плоское, обшитое наборным деревом. На потолке три восьмигранных панно с геометрическим узором и датой «1890». Панно на перекрытии разделены треугольными филёнками. Падугу украшают резные кронштейны с филёнками между ними. Снизу стены обшиты дубовыми панелями с прямоугольными филёнками в два ряда, сверху панелей стен — штофная тёмно-коричневая обивка. Филёнчатые двери, также сделанные из дуба, обрамлены ионическими резными пилястрами. Над ними — сандрик с кронштейнами по бокам, с резным чешуйчатым узором.

В доме есть камин с чёрной мраморной доской на двух парах витых черномраморных колонок. Топка облицована белыми изразцами с синими морскими и архитектурными пейзажами.

С 1870-х и до 1917 года особняком владели князь С. С. Гагарин и его жена, они частично перестроили дом в 1873—1874 годах (уничтожив две двери слева, заменили входом правое окно; архитекторы — Штром, Месмахер).

В 1839 году Демидов приказал замостить проезжую часть перед домом асфальтовыми плитами, уложенными на слой песка, соблюдая обязательство содержания мостовой перед имением. Плиты вскоре расползлись.

В 1918 году дом был конфискован в пользу Комиссариата народного хозяйства. В 1920х годах в здании были разные учреждения, в том числе Ленинградский автоклуб и занимавший Большой зал кружок бальных танцев. Во время Великой Отечественной войны в доме был расположен Морской регистр СССР.

Источники:

https://ru.wikipedia.org/wiki/Дом_Гагариной