В 1724 году Петр I подарил своему сподвижнику Юсупову участок земли между Большой просекой (Садовая улица), Безымянным ериком (река Фонтанка), Царской перспективой (Московский проспект) и Просекой (переулок Бойцова).
В 1730-е годы здесь стоял одноэтажный деревянный дом «в девять окон на высоком каменном подвале», сооруженный по образцовому проекту архитектора Доменико Трезини. В 1740-х годы был построен каменный дворец в стиле барокко. За ним находился регулярный сад с фигурными прудами, каналами.

Усадьба князя Юсупова на реке Фонтанке в середине XVIII века была одной из богатейших в городе. На участке существовал роскошный барочный дворец, в плане представлявший собой сильно распластанную букву Н. Здание на высоких погребах представляло собой сочетание центрального двухэтажного объёма и одноэтажных поперечных ему крыльев, соединенных одноэтажными же корпусами. От реки усадьбу отделяла трельяжная решетка. По сторонам средней подъездной аллеи, ведущей от дворца к Садовой улице, располагалось по большому боскету, центры которых отмечали пруды фигурных очертаний, соединённые между собой каналом. Через канал по центральной оси комплекса переброшен мост. От прудов к граням и углам боскетов вели дополнительные окаймленные стриженной зеленью дорожки. Парк немного не доходил до Садовой улицы, и подъездная аллея проходила между строений небольших усадеб, обращённых к улице, принадлежавших другим владельцам. У Фонтанки перед Г-образной в плане оранжереей существовал небольшой партерный садик с беседками. Единственное известное сегодня изображение дворца того периода сохранилось на аксонометрическом плане де Сент-Илера.
В 1790 году по заказу владельца Юсупова дворец был перестроен архитектором Кваренги. В связи с прокладкой сквозной набережной и завершением благоустройства берегов Фонтанки дворец в 1790-х годах перестраивается для князя Николая Борисовича Юсупова архитектором Джакомо Кваренги. Зодчий сохранил стены дворца, но уничтожил барочный декор и придал зданию классический облик. При этом зодчий сохранил основные объемные членения здания (повышенный центр и более низкие крылья), но полностью сменил в духе времени декоративное решение фасадов и интерьеров, получивших в результате классицистическое оформление. Со стороны реки архитектор возвел дополнительные службы и организовал новый замкнутый парадный двор с въездом с набережной. Вместо двух фигурных крылец он соорудил по центру фасада открытый тамбур с ведущим к нему пандусом. Угловые ризалиты стянуты с повышенным средним лоджиями, украшенными тосканскими колоннами. Противоположный садовый фасад украсился шестиколонным портиком на террасе в уровне первого этажа с ведущей к нему широкой одномаршевой лестницей. Парк перепланировали в пейзажном стиле, изменив очертания береговой линии прудов на свободные и насыпав искусственный островок. На участке бывшей оранжереи Кваренги предусматривал строительство небольшого павильона с обращенной к Фонтанке открытой полуциркульной нишей, маленьким кабинетцем и залом со стороны сада, отделённого от остальной территории усадьбы оградой.

В 1810 году Юсуповы продали дворец казне. В нем разместился институт Корпуса инженеров путей сообщения. В 1836—1840 годах была изготовлена решётка, которая ограждает здание и прилегающий к нему сад со стороны Садовой улицы; её создали инженеры Кольман и Трофимович.
Источники:
https://www.citywalls.ru/house10422.html
https://ru.wikipedia.org/wiki/Дворец_Юсуповых_на_Садовой_улице