Sandhamn har i hög grad blivit seglarnas ö. 1830 grundades Föreningen Svenska Segel-Sällskapet. De seglade mest i innerskärgården. 1878 ombildades segelsällskapet till Kungliga Svenska Segel Sällskapet (KSSS) och de hade börjat hålla regattor ute på Sandhamn. Anledningen till att Sandhamn blev samlingsplats för seglarna var närheten till stora öppna vatten och goda hamn förhållanden. Behovet av ett klubbhus infann sig och arkitekten Fredrik Liljekvist fick i uppdrag att rita det. Han kom senare också att ansvara för bland annat byggandet av Dramaten i Stockholm. Den 9 juli 1897 invigde kung Oscar II klubbhuset vid jubileumsregatta första kappsegling dag. Vid den tiden var medlemmarna inte fler än att de flesta fick plats i huset. Idag är KSSS Sveriges största segelsällskap med över 6 000 medlemmar och Sandhamn har blivit ett viktigt seglarcentrum.
Under KSSS årliga regattor på Sandhamn har ön alltid levt upp extra mycket. Hamnen har under åren fyllts av allt ifrån gamla tiders skärgårdskryssare till dagens snabba trimaraner och vackra drakbåtar. Klubbhusets restaurang hade då, precis som nu, ständigt fullsatta bord.
I mitten av 70-talet hamnade KSSS krog i centrum av en omfattande skandal. Det visade sig att krögaren Fleming Broman använde lokalen till narkotikatillverkning. Han och hans liga tillverkade och sålde över 100 kilo amfetamin bland kungligheter och nobless på Sandhamn. Han greps och dömdes till fem och ett halvt års fängelse för narkotikabrott och sedan blev en infiltratör åt polisen i den tidens grövsta narkotika kretsar. Han skrev en självbiografisk bok med titeln Ursäkta, mitt namn är Broman (1982). Och Hannes Holm har gjort en filmatisering av historien om Broman och Sandhamnsligan som heter Himlen är oskyldigt blå. Den hade premiär fredagen den 15 oktober 2010, på dagen 35 år efter att polisen avslöjande Sandhamnsligan. Fleming Broman bor i dag någonstans i Sverige med nytt namn och ny identitet.
