Den byggnad som Long Beach Museum of Art ligger i byggdes 1912 som ett sommarhus av Elizabeth Milbank Anderson, en förmögen filantrop och arvtagare till Jeremiah Milbank, som var finansman, medgrundare av Borden Company och grundare av Chicago, Milwaukee & St Paul Railroad. Enligt Fortune Magazine har ”ett antal Milbanks varit betydande figurer i USA:s industriella historia och familjen har också satt sin prägel på landets utbildningsinstitutioner och medicinska institutioner…”. (maj 1959).
Elizabeth Milbank Anderson (1850-1921) var en energisk, starkt sinnad kvinna med många olika intressen. Hon var en framgångsrik affärskvinna, filantrop och konstsamlare som ofta reste till Europa. År 1905 inrättade hon Milbank Memorial Fund, som gav bidrag till olika medicinska och pedagogiska projekt; denna fond finns fortfarande kvar. Hon donerade ett bibliotek till Greenwich, Connecticut, och skänkte tre kvarter av en utvald mark i New York City till Barnard College, på vilken Milbank Hall byggdes. Hon byggde offentliga anläggningar för de fattiga, såsom en idrottsarena och offentliga bad, och inrättade ett program med gratis skolluncher. Hennes make, Abram A. Anderson, var en välkänd porträttmålare och vän till Teddy Roosevelt.
1926 blev huset Long Beachs första sociala, idrotts- och strandklubb, Club California Casa Real. Dess framträdande ställning överskuggades snart av Pacific Coast Club, som öppnade tre månader senare.
Från 1929 till 1944 ägde Thomas A. O’Donnell, en pionjär inom den kaliforniska oljeindustrin, huset. Han utvecklade Coalinga-fältet, hjälpte till att organisera American Petroleum Corporation och blev president för California Petroleum Co. och den förste verkställande direktören för American Petroleum Institute.
Under andra världskriget var huset den amerikanska flottans Chief Petty Officer’s Club. Det köptes av staden Long Beach 1950 för ett kommunalt konstcenter och utsågs 1957 till Long Beach Museum of Art. I dag ägs museet fortfarande av staden Long Beach, men den dagliga verksamheten sköts av en privat stiftelse, Long Beach Museum of Art Foundation. I slutet av 1990-talet genomförde stiftelsen en stor kapitalkampanj för att finansiera en fullständig restaurering av de historiska anläggningarna, flytta vagnshuset och bygga en ny utställningspaviljong i två våningar. Projektet avslutades i september 2000.
Elizabeth Milbank Anderson House och vagnshuset (nu Miller Education Center) ritades och byggdes av Milwaukee Building Company, en inflytelserik arkitektfirma som utförde andra arbeten för familjen Milbank och andra medarbetare. År 1911 lät Isaac Milbank, medgrundare av Borden Milk Company och oljeinvesterare, bygga ett magnifikt sommarhus i Santa Monica av Milwaukee Building Company. Samtidigt byggde Milwaukee Building Company ett liknande hem på samma gata i Santa Monica för den pensionerade hotellägaren Henry Weaver, som ägde flera hotell i Midwest.
Milwaukee Building Company blev senare Los Angeles-firman Meyer & Holler, en framstående firma som byggde många landmärkesbyggnader. Deras mest kända konstruktioner var Chinese och Egyptian Theaters i Hollywood. I Long Beach ritade de Ocean Center Building, Walker’s Department Store och Fox West Coast Theater (numera riven).