Bygningen, som Long Beach Museum of Art ligger i, blev bygget i 1912 som sommerhus af Elizabeth Milbank Anderson, en velhavende filantrop og arving til Jeremiah Milbank, som var finansmand, medstifter af Borden Company og grundlægger af Chicago, Milwaukee & St. Paul Railroad. Ifølge Fortune Magazine har “en række Milbanks været betydelige figurer i USA’s industrielle historie, og familien har også sat sit præg på landets uddannelsesinstitutioner og medicinske institutioner …” (maj 1959).
Elizabeth Milbank Anderson (1850-1921) var en energisk, stærkt tænkende kvinde med en bred vifte af interesser. Hun var en succesfuld forretningskvinde, filantrop og kunstsamler, som ofte rejste til Europa. I 1905 oprettede hun Milbank Memorial Fund, som gav tilskud til forskellige medicinske og uddannelsesmæssige projekter; denne fond eksisterer stadig. Hun donerede et bibliotek til Greenwich, Connecticut, og gav tre blokke udvalgt jord i New York City til Barnard College, hvorpå Milbank Hall blev bygget. Hun byggede offentlige faciliteter for de fattige, som f.eks. en sportsarena og offentlige bade, og etablerede et program med gratis skoleluncher. Hendes mand, Abram A. Anderson, var en velkendt portrætmaler og ven af Teddy Roosevelt.
I 1926 blev huset Long Beachs første sociale, sportslige og strandklub, Club California Casa Real. Dens fremtrædende rolle blev snart overskygget af Pacific Coast Club, som åbnede tre måneder senere.
Fra 1929 til 1944 ejede Thomas A. O’Donnell, en pionerindustriel i den californiske olieindustri, huset. Han udviklede Coalinga-feltet, var med til at organisere American Petroleum Corporation og blev præsident for California Petroleum Co. og den første administrerende direktør for American Petroleum Institute.
Under Anden Verdenskrig var huset den amerikanske flådes Chief Petty Officer’s Club. Det blev købt af byen Long Beach i 1950 til et kommunalt kunstcenter og blev i 1957 udpeget som Long Beach Museum of Art. I dag er museet stadig ejet af byen Long Beach, men den daglige drift varetages af en privat fond, Long Beach Museum of Art Foundation. I slutningen af 1990’erne iværksatte fonden en større kapitalkampagne for at finansiere en fuldstændig restaurering af de historiske faciliteter, flytning af vognhuset og opførelse af en ny udstillingspavillon i to etager. Projektet blev afsluttet i september 2000.
Elizabeth Milbank Anderson House og vognhuset (nu Miller Education Center) blev designet og bygget af Milwaukee Building Company, et indflydelsesrigt arkitektfirma, som udførte andet arbejde for Milbank-familien og andre associerede. I 1911 fik Isaac Milbank, medstifter af Borden Milk Company og olieinvestor, bygget et pragtfuldt Craftsman-sommerhus til sig i Santa Monica af Milwaukee Building Company. Samtidig opførte Milwaukee Building Company et lignende hjem på samme gade i Santa Monica for den pensionerede hotelejer Henry Weaver, der ejede flere hoteller i Midtvesten.
Milwaukee Building Company blev senere til firmaet Meyer & Holler i Los Angeles, et eminent firma, der opførte adskillige skelsættende bygninger. Deres mest berømte designs var de kinesiske og egyptiske teatre i Hollywood. I Long Beach tegnede de Ocean Center Building, Walker’s Department Store og Fox West Coast Theater (nu revet ned).