Il sito di Karakorum potrebbe essere stato colonizzato per la prima volta intorno al 750. Nel 1220 Gengis Khan, il grande conquistatore mongolo, vi stabilì il suo quartier generale e lo usò come base per la sua invasione della Cina. Nel 1267 la capitale fu spostata a Khanbaliq (la moderna Pechino) da Kublai Khan, il più grande dei successori di Gengis Khan e fondatore della dinastia mongola (Yüan) in Cina (1206-1368). Nel 1235 il figlio e successore di Gengis Khan, Ögödei, circondò Karakorum di mura e costruì un palazzo rettangolare sostenuto da 64 colonne di legno su basi di granito. Molti edifici in mattoni, 12 santuari sciamanici e due moschee facevano parte della città, che fu anche un primo centro di scultura, particolarmente degno di nota per le sue grandi tartarughe di pietra.

Nel 1368, Bilikt Khan, il figlio di Togon Timur, l’ultimo imperatore della dinastia mongola della Cina, che era stato bandito da Pechino, tornò a Karakorum, che fu parzialmente ricostruita. Era allora conosciuta come Erdeni Dzu (il nome mongolo di Buddha), perché durante il XIII secolo il buddismo lamaistico aveva fatto progressi sotto Kublai Khan. Nella battaglia di Puir Nor nel 1388, le forze cinesi sotto la guida dell’imperatore Hung-wu invasero la Mongolia e ottennero una vittoria decisiva, catturando 70.000 mongoli e distruggendo Karakorum. Più tardi fu parzialmente ricostruita, ma fu successivamente abbandonata. Il monastero buddista di Erdeni Dzu (costruito nel 1585), che oggi rimane solo come museo, fu costruito sul sito della città.

Nel 1889 la posizione precisa di Karakorum fu scoperta da due orientalisti russi che lavoravano nella zona, e nel 1948-49 le rovine furono esplorate da membri dell’Accademia delle Scienze dell’U.Tra le loro scoperte c’erano il sito del palazzo di Ögödei (nella parte sud-occidentale della città) e i resti di un santuario buddista della fine del 12° o dell’inizio del 13° secolo.

.