Tulltjänstemännen började bosätta sig på Sandhamn redan underslutet av 1600-talet. Tidigare fanns en tulljakt postering vid ön. Staten bort arrenderade sjötullen 1726 till ett bolag som kallades”Generaltullarrendesocieteten”. Efter detta fick Sandhamn ett tullhus. Sandhamnstullen var en så kallad inloppsstation vilket innebar att fartygen här fick visa sina skeppshandlingar varefter lasten visiterades och plomberades. Den egentliga förtullningen ägde rum i Stockholm. I samband med att en ny tull brygga anlades, uppfördes en liten vaktstuga som skydd åt de patrullerande tullarna vid dåligt väder. Vaktstugan användes senare som brygghus och är idag hembyggdsmuseum.Tullstationen upphörde 1928.
1752 ersattes det första tullhuset med den nuvarande byggnaden som ritades av slottsarkitekten Carl Hårleman.Tullhuset är ett statligt byggnadsminnesmärke. Det ägs av Värmdö hamnar och fungerar idag som hyresbostäder.
Den mest kände tullinspektören på Sandön var Elias Sehlstedt, också en diktare och en konstnär. Under hans tid (1852-1869) var ön fortfarande ganska karg och obebyggd och Elias var inte alls glad åt sin placering. Det sades att han hade blivit tvingad till denna förvisningsort av ekonomiska skäl. I hans dikter kan man klart läsa hur han upplevde sin tid här på Sandön. Lite roligare måste det dock ha blivit för Sehlstedt om somrarna. Redan på 1800-talets mitt började Sandhamn bli en semesterort med regelbunden båttrafik och det sägs att Sehlstedt sommartid ofta fick besök av vänner från stan då det spelades kort långt in på nätterna.
“Du frågar hvad jag gör Guds långa dag.
Ack! jag har göromål af många slag:
Hvar sommarmorgon, mulen eller klar,
Jag stiger opp, sen jag först vaknat har.
I reglementet står: när tuppen gal,
Man damma skall sin gamla tull-journal.
Trafiken börjar under hoj och rop
Från skepp, som vind beskedligt blåst ihop.
Och i en blink, som faen och hans mor,
Af sjökaptener proppas mitt kontor;
Och sjelf jag står, vid sådan segelfart,
Som Carl den Tolfte, en mot tio, snart.”
Elias Sehlstedt, Sommaren och Vintern på Sandhamn, Ur en Tullkarls minnesbok
