A Morgan Könyvtár és Múzeum & New York szívében található épületegyüttes Pierpont Morgan (1837-1913) pénzember, az Egyesült Államok egyik legkiemelkedőbb gyűjtőjének és kulturális jótevőjének magánkönyvtáraként indult. Morgan már 1890-ben elkezdte összeállítani illuminált, irodalmi és történelmi kéziratok, korai nyomtatott könyvek, valamint régi mesterrajzok és metszetek gyűjteményét.
Mr. Morgan könyvtárát, ahogy életében ismerték, 1902 és 1906 között építették New York-i rezidenciája szomszédságában, a Madison Avenue és a 36. utca sarkán. A McKim, Mead & White építésziroda Charles McKim & által tervezett könyvtárat többnek szánták, mint ritka anyagok tárházának. A fenséges megjelenésű, mégis bensőséges léptékű épületnek tükröznie kellett az állomány jellegét és nagyságát. Az eredmény egy olasz reneszánsz stílusú palota lett, három pompás teremmel, amelyek megtestesítik az amerikai elegancia korát. Három évvel McKim halála előtt készült el, és sokan McKim mesterművének tartják. 1924-ben, tizenegy évvel Pierpont Morgan halála után fia, J. P. Morgan Jr. (1867-1943), akit Jackként ismertek, rájött, hogy a könyvtár túl fontos lett ahhoz, hogy magánkézben maradjon. Az Egyesült Államok történetének egyik legjelentősebb kulturális ajándékozásával teljesítette apja álmát, hogy a könyvtárat és annak kincseit a tudósok és a nagyközönség számára egyaránt elérhetővé tegye, és közintézménnyé alakítsa át.
Az évek során – vásárlások és nagylelkű adományok révén – a Morgan Könyvtár & múzeuma folytatta a ritka anyagok, valamint fontos zenei kéziratok, korai gyermekkönyvek, Americana és huszadik századi anyagok beszerzését. Anélkül, hogy elveszítette volna határozottan hazai hangulatát, a Morgan a fizikai terét is jelentősen kibővítette.
1928-ban épült fel a Madison Avenue és a 36. utca sarkán az Annex épület, Pierpont Morgan lakóházának helyére. Az Annex egy galériával kapcsolódott az eredeti McKim könyvtárhoz. 1988-ban Jack Morgan egykori rezidenciáját – a Madison Avenue és a 37. utca sarkán található tizenkilencedik század közepén épült barna kőházat – szintén hozzáadták a komplexumhoz. Az 1991-ben épült kerti udvar a Morgan campus különböző elemeinek egyesítését szolgálta.
A Morgan történetének legnagyobb bővítése 2006-ban fejeződött be, amikor a campus 75 000 négyzetméterrel bővült. A Pritzker-díjas építész, Renzo Piano által tervezett projekt több mint ötven százalékkal növelte a kiállítóteret, és fontos látogatói kényelemmel bővült, beleértve egy új előadótermet, egy barátságos bejáratot a Madison Avenue-n, egy új kávézót és egy új éttermet, egy boltot, egy új olvasótermet és gyűjteménytárolót. Piano tervei a Morgan három történelmi épületét három új, szerény léptékű acél-üveg pavilonnal integrálják. Az épületeket egy magasan emelkedő központi udvar köti össze, amely egy olasz piazza szellemében gyülekezőhelyként szolgál a látogatók számára.