С 1710 года на месте нынешней площади Победы находилась караульная со шлагбаумом. За ее форму в народе ее называли «рогатка». В этом месте у проезжающих проверяли подорожные документы и собирали сборы. Всего таких караульных пунктов было три: один у современных Московских ворот (ближний), другой — у Пулковской горы (дальний), а третий располагался между ними (средний). С XVIII века название «Средняя Рогатка» стало использоваться как имя собственное.

Летом 1714 году на пересечении дорог из Петербурга в Москву и из Петербурга в Саарскую мызу (сейчас Царское Село) был построен деревянный одноэтажный путевой дворец из восьми комнат, предназначенный для отдыха царской семьи во время поездок. Ставили их в петровское время для «препятствия проходу злонамеренных людей»: беглых солдат и крепостных, пытавшихся уйти из Петербурга; извозчиков, нарушавших царский указ о привозе на каждой подводе трех камней для мощения петербургских улиц, и тех городских жителей, которые хотели выехать без разрешения.

Во времена правления Елизаветы Петровны в Среднерогатском дворце проживала придворная прислуга – десять человек, переведенных сначала из Зимнего, а затем из Царскосельского дворца. В дворце хранились запасы продовольствия, водки и вина на случай визита императрицы, которая часто ночевала здесь.

В 1727 году Средняя Рогатка впервые была отмечена на карте, составленной Кирилловым. А в 1744 году здесь установили столб с изображением трех рук, указывающих направления на Петербург, Царское Село, Москву и Варшаву, получивший народное название «Три руки».

Тридцать лет после Петра Великого Среднерогатский дворец не использовался, пришел в упадок. В 1743 году покосившееся строение у «Средней рогатки» сломали и построили на его месте большое деревянное здание со многими пристройками, в том числе с кухней.

8 ноября 1750 году последовал приказ построить на Царскосельской першпективе вместо деревянного каменное здание. 28 февраля придворный архитектор Франческо Растрелли представил проект дворца. Весной 1751 году на правой стороне дороги начал строиться третий Среднерогатский дворец. При этом «второй» Среднерогатский дворец, на левой стороне, не сносили. 17 апреля 1754 году строительство было завершено.

Одноэтажный, на высоком полуподвале, путевой дворец имел пятнадцать комнат и большой зал. Внутреннюю отделку не стали делать особо роскошной, хотя во дворце была изящная лепнина, на стенах были наклеены бумажные голландские обои. Из Царскосельского дворца сюда были привезены три зеркала и бронзовые подсвечники для каждой комнаты.

Император Павел I приказал из Среднерогатского дворца сделать почтовую станцию. Полуразвалившийся «второй» Среднерогатский деревянный дворец, на левой стороне дороги, снесли 25 июня 1791 года, а место это выровняли и почистили.

Летом 1816 года здесь был поставлен верстовый столб с изображениями четырёх рук,  указывающими направление дорог на Москву, Царское Село, Петергоф и Петербург. С тех пор Среднерогатский дворец в народе получил название «Дворец у четырёх рук».

В 1831 году дворец был отремонтирован и частично перестроен, после чего в нём начал функционировать трактир под названием "Трёх рук".

В 1850 году здание дворца было продано под фабрику по производству типографской краски и чернил.

В 1925 году Среднерогатский дворец пережил пожар, его еще раз перестроили, надстроили второй этаж. В результате величественный дворец и вовсе стал похож на богадельню.

При создании современной Площади Победы дворец не вписался в проект. Он стоял, обращенный главным фасадом к Московскому проспекту, а к парадной площади оказывался боком. Было принято решение снести Среднерогатский дворец, возвести его копию на новом месте, непосредственно на Площади Победы, развернув его на 45 градусов. Дворец был обмерен, резные капители изящной работы с фасада дворца демонтировали и сохранили.

В 1971 году Расстреллиевский дворец на Средней Рогатке был снесен. Воссоздавать его не стали.

Источники:

https://www.citywalls.ru/house9923.html

https://dzen.ru/a/ZnvuvC6MDCRN4CpH

https://ru.wikipedia.org/wiki/Среднерогатский_дворец