Kompleks budynków w samym sercu Nowego Jorku, Biblioteka Morgana & Muzeum rozpoczęła swoją działalność jako prywatna biblioteka finansisty Pierponta Morgana (1837-1913), jednego z najwybitniejszych kolekcjonerów i dobroczyńców kultury w Stanach Zjednoczonych. Już w 1890 roku Morgan zaczął gromadzić kolekcję iluminowanych, literackich i historycznych rękopisów, wczesnych książek drukowanych oraz starych mistrzowskich rysunków i druków.
Biblioteka pana Morgana, jak to było znane za jego życia, została zbudowana w latach 1902-1906 w sąsiedztwie jego nowojorskiej rezydencji przy Madison Avenue i 36. ulicy. Zaprojektowana przez Charlesa McKima z firmy architektonicznej McKim, Mead & White, biblioteka miała być czymś więcej niż tylko składnicą rzadkich materiałów. Majestatyczny w wyglądzie, ale intymny w skali, budynek miał odzwierciedlać naturę i rangę jej zbiorów. W rezultacie powstało palazzo w stylu włoskiego renesansu z trzema wspaniałymi salami uosabiającymi amerykański Wiek Elegancji. Ukończony na trzy lata przed śmiercią McKima, przez wielu uważany jest za jego arcydzieło. W 1924 roku, jedenaście lat po śmierci Pierponta Morgana, jego syn, J.P. Morgan, Jr. (1867-1943), znany jako Jack, zdał sobie sprawę, że biblioteka stała się zbyt ważna, by pozostać w rękach prywatnych. W jednej z najbardziej doniosłych darowizn kulturalnych w historii Stanów Zjednoczonych spełnił marzenie ojca o udostępnieniu biblioteki i jej skarbów zarówno uczonym, jak i społeczeństwu, przekształcając ją w instytucję publiczną. W 1928 roku na rogu Madison Avenue i 36th Street wzniesiono budynek Aneksu, który zastąpił rezydencję Pierponta Morgana. Aneks łączył się z oryginalną biblioteką McKima za pomocą galerii. W 1988 roku do kompleksu dodano dawną rezydencję Jacka Morgana – brązowy kamień z połowy XIX wieku przy Madison Avenue i 37th Street. W 1991 roku powstał dziedziniec ogrodowy, który miał połączyć różne elementy kampusu Morgana.
Największa rozbudowa w historii Morgana, dodająca 75 000 stóp kwadratowych do kampusu, została ukończona w 2006 roku. Zaprojektowany przez nagrodzonego Nagrodą Pritzkera architekta Renzo Piano, projekt ten zwiększa przestrzeń wystawienniczą o ponad pięćdziesiąt procent i dodaje ważne udogodnienia dla zwiedzających, w tym nową salę widowiskową, powitalne wejście na Madison Avenue, nową kawiarnię i nową restaurację, sklep, nową czytelnię i magazyn zbiorów. Projekt Piano integruje trzy historyczne budynki Morgana z trzema nowymi, skromnymi pawilonami ze stali i szkła. Wysoki, centralny dziedziniec łączy budynki i służy jako miejsce spotkań dla zwiedzających w duchu włoskiej piazzy.