В первой четверти XVIII века на месте дома № 8 по Дворцовой набережной и дома № 7 по Миллионной улице находился дом капитана Ипата Муханова.

В 1715 году его купил молдавский господарь Дмитрий Константинович Кантемир, вынужденный после неудачного Прутского похода переселиться на берег Невы. Старый дом был снесён, на его месте по проекту молодого Ф. Б. Растрелли построили новый дворец. Это стало первой самостоятельной работой архитектора, выполненная молодым архитектором в 1721–1726 годах, в которой ещё нельзя угадать будущей творческой манеры великого зодчего.

О дворце сын Антиоха Кантемира писал: "Граф Растрелли родом итальянец, в российском государстве искусный архитектор; за младостью возраста не столько в практике силён, как в замыслах и чертежах. Инвенции его в украшении великолепны, вид здания казист; одним словом, может увеселиться око в том, что он построил".

На набережную Невы дворец выходил главным фасадом с двухэтажной на высоких подвалах центральной частью, которую фланкировали трёхэтажные ризалиты. В отличие от большинства домов знати, стоявших по берегам каких-либо рек или проток, дворец Кантемира не имел пристани.

Главный фасад трёхэтажного дворца, выходящий на набережную Невы, был разделён на три части: центр, и два боковых ризалита (по другим источникам центральная часть фасада была двухэтажной, а ризолиты имели три этажа). Фасад имел характерное для того времени чёткое членение — горизонтальные междуэтажные тяги, вертикальные пилястры между окнами, остекление окон маленькими квадратиками, простые наличники и двухскатную кровлю. Фасад двухэтажного (трёхэтажного) флигеля, выходящий на Миллионную улицу, имел в центре большую арку для въезда в парадный двор к двум въездным аркам. Парадный вход выходит на Миллионную улицу. В декорировании обоих флигелей использованы рустрированные пилястры. На первом этаже дворца находился просторный вестибюль, а над ним, на втором этаже, располагался двухсветный зал, лепка в котором и резьба на каминах выполнена отцом зодчего Бартоломео Карло Растрелли. Симметрично, справа и слева от большого зала располагались меньшие залы. Первый этаж дворца для того, чтобы казаться массивнее обработан рустом, а второй и третий этажи, для подчёркивания высоты здания, украшали пилястры. Со стороны нынешнего Мраморного переулка были построены одноэтажные флигели, отделявшие дворец от соседнего участка.

С 1723 года, после смерти заказчика, дом перешел в собственность его детей. Здесь жил и сын Дмитрия, Антиох Кантемир, поэт, автор сатир и дипломат.

Некоторые помещения особняка сдавались в наём. В 1726 году во дворце Кантемира проживал поэт Василий Кириллович Тредиаковский, преподававший Антиоху русский язык и стихосложение. В 1727 году здесь жил граф Миних.

В 1737 году дворец описывался следующим образом:

Двор каменный князей Кантемиров на большую Неву…, на нём палатное строение в 3 апартамента и кругом всего того двора всякие покои каменные и под палаты погреба, да подле того двора особый другой каменный на дворе в задней линии в 3 апартамента и под ним погреба, крыша гонтовая

В 1743 году на верхнем этаже устроена церковь великомученика Феодора Стратилата.

После смерти Антиоха Кантемира в 1744 году его младшие братья Матвей и Сергей вступили с длительный судебный спор с мачехой, княгиней А. И. Трубецкой (принцессой Гессен-Гамбургской).

В 1755-1757 годах в особняке находилось английское посольство. При посольстве квартировался его секретарь князь Станислав Понятовский, будущий польский король.

В 1755—1757 годах в особняке располагалось английское посольство, при котором проживал его секретарь будущий польский король Станислав Понятовский. В 1762 году братья Матвей Кантемир и Сергей Кантемир продали дворец генерал-прокурору Сената Александру Ивановичу Глебову, который через два года перепродал его графу Алексею Петровичу Бестужеву-Рюмину, некоторые историки считают, что его приобрела Екатерина II, которая отдала его вернувшемуся из ссылки графу Бестужеву-Рюмину. Старый дом графа к этому времени уже был занят Сенатом, поэтому ему требовалось новое жилище. По имени нового владельца соседний Мраморный переулок некоторое время назывался Бестужевским.

Через четыре года Бестужев скончался, участок купил граф Павел Мартынович Скавронский. По данным П. М. Столпянского участок был ему подарен Екатериной II. Граф Павел Мартынович Скавронский, внучатый племянник Екатерины I, последний представитель своего рода, известный в своё время богач и меломан, камергер, русский посланник при неаполитанском дворе. По воспоминаниям, в это время на углу дома находилась четырехугольная вышка с окнами на все четыре стороны. Хозяин дома был любителем музыки и большим чудаком - в доме разрешалось разговаривать только речитативом. В одном из больших залов была оборудована сцена, где ставились оперы, спектакли, концерты. В 1777 году хозяйкой дворца Кантемира стала супруга графа Екатерина Васильевна Скавронская (в девичестве Энгельгардт), племянница князя Г. А. Потёмкина. После смерти Скавронского Екатерина Васильевна вторично вышла замуж за графа Юлия Помпеевича Литта, с которым она познакомилась в 1788 году в Неаполе. Граф с 1795 года был представителем Мальтийского ордена в России, для брака ему потребовалось просить разрешения на снятия обета безбрачия у римского папы. Свадьба состоялась 31 октября 1798 года. Брак оказался счастливым. Литта стал обладателем огромного состояния супруги, принял русское подданство и был назначен шефом кавалергардов.

Для новобрачных архитектором Луиджи Руска в стиле классицизм был перестроен корпус со стороны Миллионной улицы (дом №7). После смерти графини Литта продал особняк министерству финансов, поселившись в его части по Миллионной улице. После кончины графа особняк полностью перешёл министерству финансов. Здесь находились канцелярия и типография министерства, квартира министра. В это время, в 1840-1850-е годы, министрами финансов были Егор Францевич Канкрин и Ф. П. Вронченко.

Парадный двор находился со стороны Миллионной (Немецкой) улицы и был отделён от неё двухэтажным зданием с въездными воротами в центре первого этажа. От нынешнего Мраморного переулка и от соседнего участка парадный двор отделяли одноэтажные флигели.

В 1868 году дом из казны выкупил купец Николай Дмитриевич Лоховицкий. Для него он был перестроен архитектором Л. Ф. Фонтана, который изменил некоторые интерьеры, укрепил перекрытия, возвёл дворовые корпуса, переделал фасад со стороны миллионной улицы. Сам Лоховицкий жил на Галерной улице. Здесь обитал его брат, надворный советник, сотрудник военного министерства. Самым знаменитым жильцом в то время был генерал-фельдмаршал, военный министр Дмитрий Алексеевич Милютин.

Следующим владельцем участка в 1875 году стал лесоторговец и меценат Илья Федулович Громов. Для него в 1879 году комплекс из трёх отдельных жилых домов перестраивался в один большой особняк по проекту Карл Карлович Рахау. Именно тогда здание приобрело существующий облик.

На углу Миллионной улицы и Мраморного переулка фасад украсила группа из трёх женских фигур, символизирующих плодородие, искусство и мореплавание. Отделка помещения была выполнена в самых разных стилях: готика, рококо, стиль Людовика XVI. Часть интерьеров сохранилась до сих пор.

В 1882 годах после смерти бездетного Громова владельцем особняка стал бывший управляющий делами семьи Громовых Владимир Александрович Ратьков-Рожнов. Особняк со стороны Дворцовой набережной он сдавал внаём, а затем продал министерству финансов, в 1898—1901 годах здесь размещалось посольство Османской империи, а в корпусах по Мраморному переулку и Миллионной улице семья Ратькова-Рожнова жила вплоть до 1917 года. После смерти Владимира Александровича домом владел его сын Ананий. 2 января (15 января) 1917 года в здании открылось российское отделение Нью-Йоркского национального городского банка (The National City Bank of New York).

В корпусе, выходящем на Дворцовую набережную, сейчас располагается Российский морской регистр судоходства, а корпуса,

выходящие на Мраморный переулок и Миллионную улицу, долгое время оставались жилыми. В 1986 году эта часть здания передана Институту Культуры.

Источники:

https://petro-barocco.ru/archives/3216

https://ru.wikipedia.org/wiki/Особняк_Громова

https://walkspb.ru/istoriya-peterburga/zd/dvortsovaya8

https://www.citywalls.ru/house2745.html