III olympialaisista käydyn keskustelun aikana Kansainvälinen olympiakomitea päätti järjestää sen Yhdysvalloissa, koska tämä maa osoitti hyviä tuloksia kahdessa edellisessä pelissä. Aluksi he halusivat pitää olympialaiset Chicagossa tai New Yorkissa, mutta seurauksena valinta laski pieneen satamakaupunkiin St. Louisiin.
III-olympialaiset St. Louisissa yhdessä Pariisin kanssa järjestettiin osana maailmannäyttelyä. Näyttelyn paikallinen johto ei kuitenkaan pitänyt sitä kilpailijana, vaan päinvastoin, teki parhaansa käyttääkseen pelejä omiin mainostarkoituksiinsa. Järjestäjät toistivat myös joitain Pariisin vuoden 1900 kesäolympialaisten virheistä. Liittymisen vuoksi maailmannäyttelyyn kilpailut siirrettiin taustalle, ja itse olympialaiset kestivät lähes viisi kuukautta (1. heinäkuuta - 23. marraskuuta 1904). Monet kilpailut järjestettiin erilaisten ammattijärjestöjen johdolla, mutta siitä huolimatta kaikille annettiin olympialaisille otsikko.
KOK: n mukaan 12 maata osallistui kesäleikkeihin St. Louisissa. Ainoa osavaltio, joka osallistui ensimmäistä kertaa kilpailuun, oli Etelä-Afrikka. Pariisin olympialaisiin verrattuna osallistujamaiden määrä on vähentynyt voimakkaasti. Pariisin kesäolympialaisiin osallistuvat 13 valtiota eivät pystyneet saapumaan St. Louisiin taloudellisista syistä. Tuolloin Japanin kanssa taistellut Venäjä ei osallistunut kilpailuihin.
Yhteensä III kesäolympialaisissa esiintyi 651 ihmistä, joista 6 naista. He kilpailivat 94 palkintokokonaisuudesta 18 urheilulajissa. Suurin joukkue oli Amerikan yhdysvallat, jotka edustivat 533 ihmistä peleissä. Monilla urheilulajeilla (nyrkkeily, paini, vesipuoli, jousiammunta ja tennis) vain amerikkalaiset urheilijat esiintyivät, joten pelit osoittivat selvästi maan ensisijaisuuden.
St. Louisissa alkoi ensimmäistä kertaa palkita kolme, ei kaksi urheilijaa, jotka osoittivat parhaan tuloksen. Kilpailun päävoittaja sai kultamitalin; toisen sija urheilija - hopea; ja kolmas sija merkittiin pronssipalkinnolla. Tämä perinne on säilynyt nykypäivään.
Epävirallisissa joukkueiden sijoituksissa osallistuvat maat sijaitsevat seuraavasti: I paikka - Yhdysvallat (78 kultaa, 82 hopeaa, 78 pronssimitalia), II sija - Saksa (4 kultaa, 4 hopeaa, 5 pronssia), III sija - Kuuba (4 kultaa), 2 hopeaa, 3 pronssimitalia).
