Prema predanju, na ostrvu Sveti Stefan, u kasnijim vijekovima kulturno-istorijskom središtu Paštrovića, sagrađena je tvrđava 1442. godine, kada je i naseljena prvim stanovnicima.
Po predanju Paštrovići su 1442. godine od plijena sa turskih galija utvrdili ostrvo i sagradili dvanaest kuća, po jednu za svako paštrovsko pleme. Bio je trgovački, saobraćajni centar Paštrovića i skoro 300 godina sjedište Bankade – paštrovskog plemenskog suda. Naselje je dobilo ime po crkvi na vrhu ostrva, posvećenoj svetom arhidjakonu Stefanu. Na ostrvu još postoje crkve sv. Preobraženja i sv. Aleksandra Nevskog.
Sveti Stefan je nekoliko vjekova bio ribarsko selo, dok sredinom pedesetih godina prošlog vijeka nije adaptiran u luksuzni hotelski rizort.
Grad-hotel je otvoren 13. jula 1960. godine i decenijama je bio odmaralište poznatih ličnosti iz cijelog svijeta – između ostalih tu su boravili Sofija Loren i Karlo Ponti, Alberto Moravija, Andre Marlo, Ričard Vidmark, Kirk Daglas, Klaus Kinski, Monika Viti, Silvester Stalone, Jurij Gagarin, Boris Spaski, Bobi Fišer… krunisane glave, pisci, glumci, naučnici, političari i bogati šeici.
Danas je ostrvo Sveti Stefan atrakcija za one sa malo dubljim džepom.