New Yorkin sydämessä sijaitseva rakennuskompleksi The Morgan Library & Museum sai alkunsa Yhdysvaltain merkittävimpiin keräilijöihin ja kulttuurihyväntekijöihin kuuluneen rahoittaja Pierpont Morganin (1837-1913) yksityiskirjastona. Jo vuonna 1890 Morgan oli alkanut koota kokoelmaa valaistuja, kirjallisia ja historiallisia käsikirjoituksia, varhaisia painettuja kirjoja sekä vanhojen mestareiden piirustuksia ja grafiikkaa.
Mr. Morganin kirjasto, kuten sitä hänen elinaikanaan kutsuttiin, rakennettiin vuosina 1902-1906 hänen newyorkilaisen asuinpaikkansa yhteyteen osoitteeseen Madison Avenue ja 36th Street. Arkkitehtitoimisto McKim, Mead & Whiten Charles McKimin suunnittelema kirjasto oli tarkoitettu muuksi kuin harvinaisten aineistojen säilytyspaikaksi. Ulkonäöltään majesteettisen, mutta mittakaavaltaan intiimin rakennuksen oli määrä heijastaa kirjaston kokoelmien luonnetta ja suuruutta. Tuloksena oli italialaista renessanssityyliä edustava palatsi, jossa oli kolme upeaa huonetta, jotka ilmentävät Amerikan eleganssiaikaa. Se valmistui kolme vuotta ennen McKimin kuolemaa, ja monet pitävät sitä hänen mestariteoksenaan. Vuonna 1924, yksitoista vuotta Pierpont Morganin kuoleman jälkeen, hänen poikansa J. P. Morgan Jr. (1867-1943), joka tunnettiin nimellä Jack, tajusi, että kirjastosta oli tullut liian tärkeä jäädäkseen yksityisomistukseen. Yhdessä Yhdysvaltain historian merkittävimmistä kulttuurilahjoituksista hän toteutti isänsä unelman kirjaston ja sen aarteiden saattamisesta sekä tutkijoiden että yleisön saataville muuttamalla sen julkiseksi laitokseksi.
Vuosien mittaan Morganin kirjasto &museo on hankkinut ostojen ja anteliaiden lahjoitusten kautta edelleen harvinaisia aineistoja sekä tärkeitä musiikkikäsikirjoituksia, varhaisia lastenkirjoja, Americana-kirjallisuutta ja 1900-luvun aineistoa. Morgan on myös laajentanut fyysisiä tilojaan huomattavasti menettämättä selvästi kotimaista tunnelmaansa.
Vuonna 1928 Madison Avenuen ja 36th Streetin kulmaan rakennettiin Annex-rakennus, joka korvasi Pierpont Morganin asuinrakennuksen. Annex liittyi alkuperäiseen McKimin kirjastoon gallerian kautta. Vuonna 1988 kokonaisuuteen lisättiin myös Jack Morganin entinen asunto – 1800-luvun puolivälin ruskeakivitalo Madison Avenuen ja 37th Streetin kulmassa. Vuonna 1991 rakennettiin puutarhapiha, jonka tarkoituksena oli yhdistää Morganin kampuksen eri osat.
Morganin historian suurin laajennus, joka lisäsi kampukseen 75 000 neliömetriä, valmistui vuonna 2006. Pritzker-palkitun arkkitehdin Renzo Pianon suunnittelema hanke kasvattaa näyttelytilaa yli viidelläkymmenellä prosentilla ja lisää kävijöille tärkeitä mukavuuksia, kuten uuden esityssalin, viihtyisän sisäänkäynnin Madison Avenuelta, uuden kahvilan ja uuden ravintolan, myymälän, uuden lukusalin ja kokoelmien varastoinnin. Pianon suunnittelema kokonaisuus yhdistää Morganin kolme historiallista rakennusta kolmeen uuteen vaatimattomaan teräs- ja lasipaviljonkiin. Rakennukset yhdistävät korkealle kohoava keskipiha, joka toimii vierailijoiden kokoontumispaikkana italialaisen piazzan hengessä.