Het Long Beach Museum of Art werd in 1912 gebouwd als zomerhuis door Elizabeth Milbank Anderson, een rijke filantroop en erfgenaam van Jeremiah Milbank, die een financier was, medeoprichter van de Borden Company, en oprichter van de Chicago, Milwaukee & St. Paul Railroad. Volgens Fortune Magazine zijn “een aantal Milbanks belangrijke figuren geweest in de industriële geschiedenis van de V.S. en heeft de familie ook haar stempel gedrukt op de onderwijs- en medische instellingen van het land…” (mei 1959).
Elizabeth Milbank Anderson (1850-1921) was een energieke, sterk georiënteerde vrouw met een breed scala aan interesses. Zij was een succesvolle zakenvrouw, filantroop en kunstverzamelaar die vaak naar Europa reisde. In 1905 richtte zij het Milbank Memorial Fund op, dat subsidies gaf aan diverse medische en onderwijsprojecten; dit fonds bestaat nog steeds. Zij schonk een bibliotheek aan Greenwich, Connecticut, en schonk drie blokken land van haar keuze in New York City aan Barnard College, waarop Milbank Hall werd gebouwd. Zij bouwde openbare voorzieningen voor de armen, zoals een sportarena en openbare baden, en zette een programma op voor gratis schoollunches. Haar man, Abram A. Anderson, was een bekende portretschilder en vriend van Teddy Roosevelt.
In 1926 werd het huis Long Beach’s eerste sociale, atletische en strandclub, de Club California Casa Real. Het werd al snel overschaduwd door de Pacific Coast Club, die drie maanden later werd geopend.
Van 1929 tot 1944 was Thomas A. O’Donnell, een pionier industrieel van de Californische olie-industrie, eigenaar van het huis. Hij ontwikkelde het Coalinga-veld, hielp bij de organisatie van American Petroleum Corporation en werd president van California Petroleum Co. en de eerste CEO van het American Petroleum Institute.
Tijdens de Tweede Wereldoorlog was het huis de Chief Petty Officer’s Club van de Amerikaanse marine. Het werd gekocht door de stad Long Beach in 1950 voor een Gemeentelijk Kunstcentrum, en aangewezen in 1957 als het Long Beach Museum of Art. Vandaag de dag is het museum nog steeds eigendom van de stad Long Beach, maar de dagelijkse werkzaamheden worden uitgevoerd door een particuliere stichting, de Long Beach Museum of Art Foundation. Eind jaren negentig heeft de stichting een grote kapitaalcampagne opgezet om de volledige restauratie van de historische faciliteiten, de verhuizing van het koetshuis en de bouw van een nieuw tentoonstellingspaviljoen van twee verdiepingen te financieren. Het project werd voltooid in september 2000.
Het Elizabeth Milbank Anderson House en het koetshuis (nu het Miller Education Center) werden ontworpen en gebouwd door de Milwaukee Building Company, een invloedrijk architectenbureau dat ook ander werk voor de Milbank familie en vennoten deed. In 1911 liet Isaac Milbank, medeoprichter van de Borden Milk Company en een olie-investeerder, een prachtig Craftsman zomerhuis voor hem bouwen in Santa Monica door de Milwaukee Building Company. Tegelijkertijd bouwde de Milwaukee Building Company in dezelfde straat in Santa Monica een soortgelijk huis voor de gepensioneerde hoteleigenaar Henry Weaver, die eigenaar was van verschillende Midwest hotels.
De Milwaukee Building Company werd later de Los Angeles firma van Meyer & Holler, een eminent bedrijf dat talrijke monumentale gebouwen bouwde. Hun beroemdste ontwerpen waren de Chinese en Egyptian Theaters in Hollywood. In Long Beach ontwierpen zij het Ocean Center Building, Walker’s Department Store, en het Fox West Coast Theater (nu gesloopt).