Long Beachin taidemuseon käytössä oleva rakennus rakennettiin vuonna 1912 kesäasunnoksi Elizabeth Milbank Andersonille, varakkaalle hyväntekijälle ja Jeremiah Milbankin perijälle, joka oli rahoittaja, Borden Companyn perustaja ja Chicago, Milwaukee & St. Paul Railroadin perustaja. Fortune-lehden mukaan ”useat Milbankit ovat olleet merkittäviä hahmoja Yhdysvaltain teollisuushistoriassa, ja suku on jättänyt jälkensä myös maan koulutus- ja lääketieteellisiin laitoksiin…”. (toukokuu 1959).

Elizabeth Milbank Anderson (1850-1921) oli tarmokas, voimakastahtoinen ja monipuolisesti kiinnostunut nainen. Hän oli menestyvä liikenainen, hyväntekijä ja taidekeräilijä, joka matkusti usein Euroopassa. Vuonna 1905 hän perusti Milbank Memorial Fund -rahaston, joka myönsi apurahoja erilaisiin lääketieteellisiin ja koulutushankkeisiin; tämä rahasto on edelleen olemassa. Hän lahjoitti kirjaston Greenwichiin, Connecticutin osavaltioon, ja antoi Barnard Collegelle kolme korttelia valittua New Yorkin maata, jolle rakennettiin Milbank Hall. Hän rakensi köyhille julkisia tiloja, kuten urheiluareenan ja julkisia kylpylöitä, ja perusti ilmaisen koululounasohjelman. Hänen miehensä Abram A. Anderson oli tunnettu muotokuvamaalari ja Teddy Rooseveltin ystävä.

Vuonna 1926 talosta tuli Long Beachin ensimmäinen seurapiiri-, urheilu- ja rantaklubi, Club California Casa Real. Sen merkityksen varjosti pian Pacific Coast Club, joka avattiin kolme kuukautta myöhemmin.

Vuosina 1929-1944 talon omisti Thomas A. O’Donnell, Kalifornian öljyteollisuuden uranuurtaja-teollisuusmies. Hän kehitti Coalingan kenttää, auttoi American Petroleum Corporationin järjestämisessä ja hänestä tuli California Petroleum Co:n presidentti ja American Petroleum Instituten ensimmäinen toimitusjohtaja.

Toisen maailmansodan aikana talo oli Yhdysvaltain laivaston aliupseerikerho. Long Beachin kaupunki osti sen vuonna 1950 kunnalliseksi taidekeskukseksi ja nimesi sen vuonna 1957 Long Beachin taidemuseoksi. Nykyään museo on edelleen Long Beachin kaupungin omistuksessa, mutta sen päivittäisestä toiminnasta huolehtii yksityinen säätiö, Long Beach Museum of Art Foundation. Säätiö käynnisti 1990-luvun lopulla suuren pääomakampanjan rahoittaakseen historiallisten tilojen täydellisen restauroinnin, vaunurakennuksen siirtämisen ja uuden kaksikerroksisen näyttelypaviljongin rakentamisen. Hanke valmistui syyskuussa 2000.

Elizabeth Milbank Andersonin talon ja vaunurakennuksen (nykyinen Miller Education Center) suunnitteli ja rakensi Milwaukee Building Company, vaikutusvaltainen arkkitehtitoimisto, joka teki muitakin töitä Milbankin perheelle ja kumppaneille. Vuonna 1911 Isaac Milbank, Borden Milk Companyn perustaja ja öljysijoittaja, rakennutti Milwaukee Building Companyn toimesta Santa Monicaan upean Craftsman-kesäkodin. Samaan aikaan Milwaukee Building Company rakensi samankaltaisen kodin samalle kadulle Santa Monicaan eläkkeellä olevalle hotelliyrittäjälle Henry Weaverille, joka omisti useita Midwest-hotelleja.

Milwaukee Building Companysta tuli myöhemmin Meyer & Hollerin Los Angelesin yritys, merkittävä yritys, joka rakensi lukuisia maamerkkirakennuksia. Heidän tunnetuimpia suunnitelmiaan olivat kiinalainen ja egyptiläinen teatteri Hollywoodissa. Long Beachissa he suunnittelivat Ocean Center Buildingin, Walker’s Department Store -tavaratalon ja Fox West Coast Theaterin (nyt purettu).