Dok je raspravljao o pitanju održavanja III olimpijade, Međunarodni olimpijski komitet odlučio je da je organizuje na teritoriji Sjedinjenih Država, budući da je ova zemlja pokazala dobre rezultate na dvije prethodne igre. U početku su željeli održati Olimpijske igre u Chicagu ili New Yorku, ali kao rezultat toga izbor je pao na malo lučko mjesto St. Louis.
U okviru Svjetske izložbe održana je i III olimpijada u St. Louisu, zajedno s Olimpijskim igrama u Parizu. Međutim, lokalno rukovodstvo Izložbe nije je smatralo konkurentom, već je, naprotiv, na sve moguće načine pokušavalo igre koristiti u svoje reklamne svrhe. Uz to, organizatori su ponovili neke greške ljetnih olimpijskih igara 1900. u Parizu. Zbog vezanosti za Svjetsku izložbu, takmičenja su gurnuta u drugi plan, a same Olimpijske igre trajale su gotovo 5 mjeseci (1. jula - 23. novembra 1904). Mnoga natjecanja održana su pod vodstvom različitih profesionalnih organizacija, no unatoč tome, svi su dobili titulu olimpijskih disciplina.
Prema MOK-u, 12 zemalja je učestvovalo na Ljetnim igrama u St. Jedina država koja je prvi put prisustvovala takmičenju bila je Južna Afrika. U poređenju sa Olimpijskim igrama u Parizu, broj zemalja učesnica dramatično je opao. 13 država koje su učestvovale na ljetnim pariškim igrama nisu mogle doći u St. Louis iz ekonomskih razloga. Rusija, koja je u to vrijeme ratovala s Japanom, nije učestvovala u takmičenju.
Na III Ljetnim olimpijskim igrama učestvovala je ukupno 651 osoba, uključujući 6 žena. Takmičili su se za 94 kompleta nagrada u 18 sportova. Najbrojnija je bila ekipa Sjedinjenih Američkih Država, na igrama su predstavljale 533 osobe. U mnogim sportovima (boks, hrvanje, vaterpolo, streljaštvo i tenis) nastupali su samo američki sportisti, tako da su igre jasno pokazale superiornost zemlje.
U St. Louisu su prvi put počeli nagrađivati trojicu, a ne dvojicu sportista koji su pokazali najbolji rezultat. Glavni pobjednik takmičenja nagrađen je zlatnom medaljom; sportista koji je zauzeo drugo mjesto - srebro; a treće mjesto je nagrađeno bronzanom medaljom. Ova tradicija opstala je do danas.
U neslužbenom ekipnom takmičenju zemlje učesnice bile su pozicionirane na sljedeći način: I mjesto - SAD (78 zlatnih, 82 srebrne, 78 bronzanih medalja), II mjesto - Njemačka (4 zlatne, 4 srebrne, 5 bronzanih medalja), III mjesto - Kuba (4 zlatne, 2 srebrne, 3 bronzane medalje).
