Ajatus erillisten kilpailujen järjestämisestä talvi- ja kesäurheilussa syntyi pian ensimmäisten olympialaisten jälkeen. Jonkin aikaa tällainen kilpailu korvasi kuitenkin Ruotsissa säännöllisesti pidettävät pohjoismaiset pelit. Talviolympialaisten keskustelufoorumit alkoivat vuonna 1928, minkä jälkeen pelejä järjestettiin 21 kertaa, ja yhdeksän maan kaupungeista kolmella mantereella tuli heidän mestarikseen.
Ensimmäisten talvipelien aikaan urheilijat eivät edes epäillneet osallistuvansa olympialaisiin. Helmikuussa 1924 he kokoontuivat pieneen Ranskan kaupunkiin Chamonixiin Pariisin kesäolympialaisten omistajien järjestämään kilpailuun nimeltä "Kansainvälinen talviurheiluviikko". Seuraavana vuonna Kansainvälinen olympiakomitea päätti pitää säännöllisiä talvipelejä ja julisti ensimmäiset talviolympialaiset Chamonixissa. Joten amerikkalainen luistelija Charles Jewro (Charles Jewtraw) huomasi yllätyksekseen, että hän on ensimmäinen mestari talvipelien historiassa.
Toiset pelit pidettiin jo kaikkien sääntöjen mukaan - järjestettiin kaupunkikilpailu, ja olympia liekki sytytettiin avajaisissa voittaja Sveitsin St. Moritzissa. Ennen toisen maailmansodan aiheuttamaa keskeytystä olympialaisissa talvipelit oli järjestetty Yhdysvaltojen Placid-järvellä (1932) ja Saksan Garmisch-Partenkirchenissä (1936). Ensimmäiset sodanjälkeiset talvikilpailut pidettiin jälleen St. Moritzissa, Sveitsissä (1948), mutta Saksassa ja Japanissa sodan menettäneitä urheilijoita ei kutsuttu heihin.
Vuonna 1956 talviolympialaiset tulivat lopulta Euroopan palvelimelle, jonka valtiot saavat aina leijonaosan mitaleista. VI-pelit pidettiin Norjan pääkaupungissa Oslossa. 46 vuoden jälkeen Norja isännöi jälleen talviolympialaisia - XVII-kisat pidettiin Lillehammerissa. Oudolta kuin miltä se näyttää, missään muussa Pohjois-Euroopan maassa ei ole pidetty talviolympialaisia tähän mennessä. Mutta Yhdysvalloissa niitä järjestettiin neljä kertaa (1932, 1960, 1980, 2002), Ranskassa - kolme (1924, 1968, 1992). Kaksi peliä pidettiin Japanissa (1972, 1998), Itävallassa (1964, 1976), Kanadassa (1988, 2010) ja Italiassa (1956, 2006). Kerran olympialaisten talvifoorumi pidettiin Jugoslaviassa (1984). Vuonna 2014 Venäjä olisi lisättävä tähän luetteloon, kun se on saanut oikeuden isännöidä XXII-pelejä, ja neljä vuotta myöhemmin Etelä-Korea, josta tulee XXIII-talviolympialaisten emäntä.
