Sovětský svaz vyslal sportovce na olympijské hry poprvé v roce 1952. Od té doby vyslal na hry 18 týmů. Na sedmi z devíti účastí na letních olympijských hrách se tým umístil na prvním místě v celkovém počtu získaných medailí. Na zbylých dvou hrách se umístilo na druhém místě. Sedmkrát se tým umístil na prvním místě v počtu medailí a dvakrát na druhém místě v devíti případech, kdy vyslal týmy na zimní olympijské hry.
Olympijský výbor SSSR byl založen 21. dubna 1951. MOV jej přijal 7. května 1951.
Letní olympijské hry 1952 v Helsinkách byly prvními olympijskými hrami pro sovětské sportovce. První zlatou olympijskou medaili pro tuto zemi získala 20. července 1952 Nina Romašková v hodu diskem. Romaškovová v této disciplíně vytvořila nový olympijský rekord. Zimní olympijské hry 1956 v Cortině d'Ampezzo byly prvními zimními olympijskými hrami pro sovětské sportovce. První zlatou zimní olympijskou medaili pro Sovětský svaz získala Ljubov Kozyrevová v běhu na lyžích na 10 km.
SSSR byl hostitelskou zemí letních olympijských her v Moskvě v roce 1980. Tyto hry byly bojkotovány Spojenými státy a mnoha dalšími zeměmi. Poté SSSR vedl bojkot her v Los Angeles v roce 1984.
SSSR zanikl 26. prosince 1991. Olympijský výbor SSSR skončil až 12. března 1992.
V roce 1992 se her zúčastnilo 12 z 15 zemí, které byly součástí Sovětského svazu, jako sjednocený tým. Na hrách v Barceloně používaly olympijskou vlajku. Sjednocený tým skončil na prvním místě v pořadí medailí. Sjednocené družstvo startovalo také na zimních hrách v Albertville na začátku roku. Z dvanácti zemí se jich zúčastnilo pouze sedm. Na těchto hrách skončilo na druhém místě v medailovém hodnocení.