Il forte si trova tra la costa e le saline di Carloforte, in una zona sopraelevata, definita Spalmatore, che permette l’avvistamento delle torri di Portoscuso e Calasetta.
Progettato dall’ingegnere torinese della Vallea nel 1738 e inaugurato nel 1768, rientra nel sistema difensivo di Carloforte, voluto per placare le continue incursioni barbaresche; a differenza dei bastioni che circondano l’originario abitato di Castello, la torre di San Vittorio si erge strategicamente in prossimità del porto.
Il presidio militare è costituito da una torre centrale e tre torrioni addossati; all’interno, questi compongono un corridoio anulare che corre intorno all’ambiente centrale cupolato.
Nel 1899 la Regia Università di Cagliari lo converte in osservatorio astronomico; il presidio mantiene questa funzione sino agli anni ’70 del Novecento. Il forte di San Vittorio è oggi sede culturale ed accoglie il Museo Multimediale omonimo, che in collaborazione con il Museo del Mare di Genova racconta la storia dell’isola di San Pietro e della sua popolazione.