Americké Panenské ostrovy se zúčastnily 9 letních olympijských her. Sedmkrát se zúčastnily také zimních olympijských her. Peter Holmberg obsadil na letních olympijských hrách 1988 druhé místo v plachtění.
Olympijský výbor Panenských ostrovů byl založen v roce 1967 a v témže roce jej uznal MOV.