Vuonna 1949 KOK nimitti 16. olympialaisten pääkaupungiksi. 10 kaupunkia väitti oikeuden isännöidä vuoden 1956 kesäolympialaisia. Mutta etusija annettiin Melbournelle, Australian toiseksi suurimmalle kaupungille. Ensimmäistä kertaa historiassa suurin urheilufoorumi pidettiin eteläisellä pallonpuoliskolla.
Huolimatta siitä, että XVI-olympialaisten pääkaupunki oli päätetty, heidän onnistuneesta järjestämisestään oli epäilyksiä. Eurooppalaisille Australian maantieteellinen etäisyys voi olla ongelma. Lisäksi Melbournessa ei ollut sopivaa stadionia tämänsuuruisiin kilpailuihin. Mutta olympialaisten tulevat omistajat selviytyivät menestyksekkäästi tästä vaikeudesta varustamalla Melbourne-keskuksen krikettikenttä yleisurheilustadionille.
Suurin ongelma korostettiin vuonna 1951 seuraavassa KOK-istunnossa. Selviää, että kansainvälisen hevoskilpailun järjestäminen Melbournessa on käytännössä mahdotonta, koska Australia on toiminut ja on edelleen voimassa lakia, joka sallii eläinten tuonnin vasta kuuden kuukauden karanteenin jälkeen ja vain tietyistä maista.
KOK päätti kuitenkin olla siirtämättä pelejä. Hevosurheilun olympiakisat pidettiin Tukholmassa 11.-17. Kesäkuuta 1956. Heihin osallistui 158 urheilijaa 29 maasta. Tärkeimmät mitalisarjat pelattiin Melbournessa.
Osallistujien lukumäärän perusteella 16. olympialainen oli huonompi kuin kaksi aikaisempaa. Kilpailun epätavallinen ajoitus vaikutti myös - 22. marraskuuta - 8. joulukuuta, ja siihen, että joukkueet pienenivät huomattavien kuljetuskustannusten vuoksi. Myös maailman poliittisella tilanteella oli suuri vaikutus. Erityisesti Irakin ja Kiinan joukkueet kieltäytyivät osallistumasta olympialaisiin. Ensimmäinen protestina Englannin, Ranskan ja Israelin sotilaallisia toimia vastaan Egyptissä, toinen - koska Taiwanin joukkueen annettiin osallistua peleihin. Sveitsin, Espanjan ja Alankomaiden maajoukkueet boikotoivat pelejä Unkarin tapahtumien yhteydessä. XVI-olympialaisiin osallistui yhteensä 3314 urheilijaa 72 maasta.
Olympialaiset olivat kuitenkin menestys. Kilpailun osallistujat olivat erittäin korkeat, mistä osoittaa vuoden 1956 kisoissa - 77 olympiassa ja 24 maailmassa - asetettujen ennätyksien lukumäärä. Epävirallisissa joukkueiden sijoituksissa Neuvostoliiton maajoukkue voitti ensimmäisen sijan ja voitti yhteensä 98 mitalia.