Na kongresu na Sorbonně v roce 1894 bylo do programu v Aténách navrženo velké množství sportů. V prvních oficiálních oznámeních o plánovaných sportovních akcích se objevily sporty jako fotbal a kriket, ale tyto plány nebyly nikdy dokončeny a tyto sporty se do konečného seznamu her nedostaly. Bylo naplánováno veslování a jachting, které však musely být zrušeny kvůli špatnému počasí v den plánovaných soutěží.
Atletika
Atletické soutěže měly ze všech sportů nejpočetnější mezinárodní zastoupení. Hlavním vrcholem byl maraton, který se poprvé konal v mezinárodní konkurenci. Spyridon Louis byl jediným řeckým atletickým šampionem a národním hrdinou. Přestože bylo Řecko favorizováno na vítězství v hodu diskem nebo vrhu koulí, nejlepší řečtí atleti skončili v obou disciplínách těsně za Američanem Robertem Garrettem.
Nebyly vytvořeny žádné světové rekordy, protože se do závodu přihlásilo jen několik špičkových mezinárodních závodníků. Kromě toho byly zatáčky na trati velmi úzké, což ztěžovalo dosažení rychlých časů v běžeckých disciplínách. Přesto Thomas Burke ze Spojených států vyhrál běh na 100 metrů za 12,0 sekundy a běh na 400 metrů za 54,2 sekundy. jako jediný použil "krkolomný start" (položení kolena na zem), čímž zmátl porotu. Nakonec mu byl povolen start z "nepohodlné pozice".
Cyklistika
Pro cyklistické závody byla použita pravidla Mezinárodní cyklistické asociace. Závody v dráhové cyklistice se konaly na nově postaveném velodromu Neo Phaliron. Uskutečnil se pouze jeden silniční závod, a to závod z Atén do Marathonu a zpět (87 km).
V dráhových disciplínách byl nejlepším cyklistou Francouz Paul Masson, který vyhrál časovku na jedno kolo, sprint a závod na 10 000 metrů. V závodě na 100 kilometrů Masson nastoupil jako tempař svého krajana Léona Flamenga. Flameng zvítězil po pádu a poté, co zastavil, aby počkal, až jeho řecký soupeř Georgios Kolettis odstraní mechanickou závadu. Rakouský šermíř Adolf Schmal vyhrál dvanáctihodinovku, kterou absolvovali pouze dva cyklisté, zatímco závod v silničním běhu vyhrál Aristidis Konstantinidis.
Šermování
Šermířské soutěže se konaly v Zappeionu, který byl postaven z peněz, jež Evangelis Zappas věnoval na obnovení antických olympijských her, a který se dříve nepoužíval. Na rozdíl od jiných sportů (kterých se na olympijských hrách mohli účastnit pouze amatéři) mohli v šermu soutěžit i profesionálové, ovšem v samostatné soutěži. Tito profesionálové byli považováni za pány sportovce, stejně jako amatéři.
Byly naplánovány čtyři soutěže, ale soutěž v épée byla z neznámých důvodů zrušena. Soutěž ve fóliovce vyhrál Francouz Eugène-Henri Gravelotte, který ve finále porazil svého krajana Henriho Callota. Další dvě disciplíny, šavli a mistrovské fóliové klání, vyhráli řečtí šermíři. Leonidas Pyrgos, který zvítězil v posledně jmenované disciplíně, se stal prvním řeckým olympijským vítězem v moderní éře.
Gymnastika
Gymnastika byla na hřišti stadionu Panathinaiko. Německo vyslalo jedenáctičlenný tým, který vyhrál pět z osmi disciplín, včetně obou týmových soutěží. V týmové soutěži na vodorovné tyči byl německý tým bezkonkurenční. Tři Němci přidali individuální tituly: Hermann Weingärtner zvítězil na vodorovné tyči, Alfred Flatow na bradlech a Carl Schuhmann, který úspěšně závodil i v zápase, vyhrál přeskok. Švýcarský gymnasta Louis Zutter zvítězil na koni s bambulí, zatímco Řekové Ioannis Mitropoulos a Nikolaos Andriakopoulos zvítězili na kruzích, resp. ve šplhu na laně.
Střelba
Střelecká soutěž, která se konala na střelnici v Kallithei, měla pět disciplín - dvě s puškou a tři s pistolí. V první disciplíně, střelbě z vojenské pušky, zvítězil Pantelis Karasevdas, který jako jediný zasáhl terč všemi ranami. Druhou soutěž, na vojenské pistole, ovládli dva američtí bratři: John a Sumner Paineovi se stali prvními sourozenci, kteří se umístili na prvním a druhém místě ve stejné disciplíně. Aby bratři neudělali svým hostitelům ostudu, rozhodli se, že v další pistolové disciplíně, volné pistoli, bude soutěžit pouze jeden z nich. Sumner Paine tuto soutěž vyhrál.
Bratři Paineovi se nezúčastnili závodu v pistoli na 25 metrů, protože rozhodčí usoudili, že jejich zbraně nemají požadovanou ráži. V jejich nepřítomnosti zvítězil Ioannis Phrangoudis. Závěrečná disciplína, střelba z volné pušky, začala ve stejný den. Ta však nebyla kvůli tmě dokončena a byla dohrávána až následující den ráno, kdy byl šampionem korunován Georgios Orphanidis.
Plavání
Plavecká soutěž se konala na otevřeném moři. Téměř 20 000 diváků sledovalo závody v zátoce Zea u pobřeží Pirea. Voda v zátoce byla studená a závodníci při svých závodech trpěli. Ve stejný den (11. dubna) se konaly tři otevřené závody (muži na 100 metrů volným stylem, muži na 500 metrů volným stylem a muži na 1200 metrů volným stylem) a také speciální závod otevřený pouze pro řecké jachtaře.
Pro Maďara Alfréda Hajóse znamenalo, že se ve stejný den mohl zúčastnit pouze dvou závodů. Zvítězil ve dvou disciplínách, ve kterých plaval, a to na 100 a 1200 metrů volným stylem. Hajós se později stal jedním z pouhých dvou olympioniků, kteří získali medaili v atletických i uměleckých soutěžích, když v roce 1924 získal stříbrnou medaili za architekturu. Závod na 500 metrů volným stylem vyhrál rakouský plavec Paul Neumann, který své soupeře porazil o více než minutu a půl.
Tenis
Ačkoli byl tenis koncem 19. století již významným sportem, na turnaji v Aténách se neobjevil žádný z nejlepších hráčů. Soutěžilo se na kurtech aténského Lawn Tennis Clubu a na hřišti velodromu, který se používal pro cyklistické závody. Johna Pia Bolanda, který soutěž vyhrál, přihlásil do soutěže jeho spolužák z Oxfordu. V prvním kole Boland porazil Friedricha Trauna, nadějného tenistu z Hamburku, který byl vyřazen v soutěži ve sprintu na 100 metrů. Boland a Traun se rozhodli spojit síly pro čtyřhru, v níž se dostali do finále a po prohraném prvním setu porazili své řecké a egyptské soupeře.
Vzpírání
V roce 1896 byl vzpěračský sport ještě mladý a jeho pravidla se lišila od těch dnešních. Soutěže se konaly venku, na hřišti hlavního stadionu, a neexistovaly žádné váhové limity. První soutěž se konala stylem, který je dnes známý jako "clean and jerk". Vynikali v ní dva závodníci: Skot Launceston Elliot a Viggo Jensen z Dánska. Oba zvedli stejnou váhu, ale porota, které předsedal princ George, rozhodla, že Jensen tak učinil lepším stylem. Britská delegace, která toto pravidlo o nerozhodném výsledku neznala, podala protest. Vzpěračům bylo nakonec povoleno provést další pokusy, ale ani jeden z nich se nezlepšil a šampionem byl vyhlášen Jensen.
Elliot zvítězil v soutěži jednoruček, která se konala bezprostředně po soutěži dvouruček. Jensen se při svém posledním pokusu s obouručákem lehce zranil a nemohl se rovnat Elliotovi, který soutěž snadno vyhrál. Řecké publikum bylo okouzleno skotským vítězem, kterého považovalo za velmi atraktivního. Během vzpěračské soutěže došlo ke kuriózní příhodě: jeden ze sluhů dostal příkaz odnést závaží, což se pro něj zdálo být obtížným úkolem. Princ Jiří mu přišel na pomoc; zvedl závaží a k radosti davu je snadno odhodil do značné vzdálenosti.
Wrestling
V zápasnické soutěži, která se konala na stadionu Panathinaiko, neexistovaly žádné váhové kategorie, což znamenalo, že mezi závodníky všech velikostí byl pouze jeden vítěz. Používaná pravidla byla podobná modernímu řecko-římskému zápasu, ačkoli neexistoval žádný časový limit a nebyly zakázány všechny chvaty na nohou (na rozdíl od současných pravidel).
Kromě dvou řeckých závodníků se všichni soutěžící dříve věnovali jiným sportům. Šampion ve vzpírání Launceston Elliot se utkal s gymnastickým šampionem Carlem Schuhmannem. Ten zvítězil a postoupil do finále, kde se utkal s Georgiosem Tsitasem, který předtím porazil Stephanose Christopoulose. Kvůli tmě musel být finálový zápas po 40 minutách přerušen; pokračovalo se následující den, kdy Schuhmannovi stačilo k ukončení zápasu čtvrt hodiny.