Brunej se jako Brunej Darussalam poprvé zúčastnila olympijských her v roce 1988, kdy měla jediného funkcionáře, ale žádné sportovce. Na letních olympijských hrách byla země v letech 1996, 2000 a 2004. Pokaždé ji reprezentoval jediný sportovec. Brunej se nikdy nezúčastnila zimních olympijských her. Nikdy nezískala žádnou olympijskou medaili.
Od roku 2010 byla Brunej spolu se Saúdskou Arábií a Katarem jednou ze tří zemí, které na olympijské hry nikdy nevyslaly sportovkyni. Mezinárodní olympijský výbor v roce 2010 oznámil, že bude na tyto země "tlačit", aby umožnily účast žen.
Brunejský národní olympijský výbor byl založen v roce 1984 a v témže roce byl uznán Mezinárodním olympijským výborem.