Vuoden 1906 Ateenan olympialaiset osoittautuivat poikkeuksellisiksi, koska niiden järjestäjät eivät noudattaneet perinteisen neljän vuoden tauon vaatimusta pelien välillä. Tästä syystä kansainvälinen olympiakomitea ei edes tunnustanut olympialaisia.
Vuoden 1906 pelit pidettiin ensimmäisen olympialaisten kymmenennen vuosipäivän kunniaksi, jotka myös pidettiin Ateenassa. Jotta voitaisiin korostaa näiden kahden tapahtuman yhteyttä, olympialaisten järjestäjät valitsivat saman kilpailujärjestelmän kuin vuonna 1896. Suurimmaksi osaksi kilpailut järjestettiin Marble Stadiumilla.
Aluksi, kun Kreikka teki ehdotuksen olympialaisten järjestämisestä vuonna 1906, KOK ei antanut kategorista kieltäytymistä. Tosiasia, että siihen mennessä olympialaisten arvovalta oli laskenut, ja yleisö ei enää osoittanut entistä kiinnostustaan niihin. Olympialiikkeen lopullisen romahduksen estämiseksi oli tarpeen ryhtyä toimenpiteisiin, eikä mitään tapaa odottaa vuoteen 1908 saakka. Ja vaikka KOK kieltäytyi myöhemmin tunnustamasta vuoden 1906 olympialaisia, sitä kutsutaan pelien pelastukseksi, joka antoi palata yleisön ja erityisesti urheilijoiden kiinnostuksen tapahtumaan, tukea liikettä ja sen ideaa.
Vaikeutena oli myös se, että olympialaiset pidettiin perinteiden mukaan eri puolilla maailmaa, mutta vuonna 1906 tapahtuman oli tarkoitus järjestää Kreikka, mikä aiheutti KOK: n jäsenten tyytymättömyyttä. Tavalla tai toisella, mutta 22. huhtikuuta pidettiin pelien avajaiset. Koska media kiinnitti paljon huomiota vuoden 1906 olympialaisiin, monet urheilijat ja vieraat saapuivat Ateenaan.
Tapahtumaan osallistui noin 900 urheilijaa 20 maasta, joista seitsemän naista. Vuoden 1906 olympialaisten yhteydessä järjestettiin seuraavissa urheilulajeissa kilpailuja: painonnosto, kreikkalais-roomalainen paini, miekkailu, soutu, purjehdus, uinti, sukellus, yleisurheilu, penkki- ja luodin ammunta, pyöräily ja tennis. Valitettavasti, koska KOK ei tunnustanut vuoden 1906 olympialaisia, kaikki sen osallistujien saamat palkinnot olivat virheellisiä eikä niitä otettu huomioon tulevaisuudessa.
Olympialaisten lopullinen seremonia pidettiin 2. toukokuuta. Tapahtuman jälkeen sen tuloksista keskusteltiin pitkään eri maissa, mikä lisäsi merkittävästi yleisön kiinnostusta peleihin. Tästä tuli erityisen huomattava Lontoon vuoden 1908 olympialaisissa, joihin osallistui yli 2000 urheilijaa.
