Stavba, v níž sídlí Long Beach Museum of Art, byla postavena v roce 1912 jako letní sídlo Elizabeth Milbank Andersonové, bohaté filantropky a dědičky Jeremiaha Milbanka, který byl finančníkem, spoluzakladatelem společnosti Borden Company a zakladatelem železnice Chicago, Milwaukee & St.Paul. Podle časopisu Fortune „řada Milbanků byla významnými osobnostmi v průmyslové historii USA a rodina zanechala svou stopu také ve vzdělávacích a lékařských institucích v zemi…“. (květen 1959).
Elizabeth Milbank Andersonová (1850-1921) byla energická, cílevědomá žena s širokým spektrem zájmů. Byla úspěšnou podnikatelkou, filantropkou a sběratelkou umění, která často cestovala do Evropy. V roce 1905 založila Milbank Memorial Fund, který poskytoval granty na různé lékařské a vzdělávací projekty; tento fond existuje dodnes. Greenwichi v Connecticutu věnovala knihovnu a Barnard College darovala tři bloky vybraných pozemků v New Yorku, na nichž byla postavena Milbank Hall. Vybudovala veřejná zařízení pro chudé, například sportovní arénu a veřejné lázně, a zavedla program bezplatných školních obědů. Její manžel Abram A. Anderson byl známý malíř portrétů a přítel Teddyho Roosevelta.
V roce 1926 se z domu stal první společenský, sportovní a plážový klub v Long Beach, kalifornský klub Casa Real. Jeho význam brzy zastínil Pacific Coast Club, který byl otevřen o tři měsíce později.
V letech 1929-1944 vlastnil dům Thomas A. O’Donnell, průkopník kalifornského ropného průmyslu. Rozvíjel ložisko Coalinga, pomáhal organizovat společnost American Petroleum Corporation a stal se prezidentem společnosti California Petroleum Co. a prvním generálním ředitelem American Petroleum Institute.
Během druhé světové války byl dům klubem vrchních poddůstojníků amerického námořnictva. V roce 1950 jej zakoupilo město Long Beach pro Městské umělecké centrum a v roce 1957 byl označen jako Long Beach Museum of Art. Dnes je muzeum stále ve vlastnictví města Long Beach, ale o jeho každodenní provoz se stará soukromá nadace Long Beach Museum of Art Foundation. Koncem 90. let 20. století nadace podnikla rozsáhlou investiční kampaň, jejímž cílem bylo financovat kompletní obnovu historických objektů, přestěhování kočárovny a výstavbu nového dvoupodlažního výstavního pavilonu. Projekt byl dokončen v září 2000.
Dům Elizabeth Milbank Andersonové a kočárovnu (nyní Miller Education Center) navrhla a postavila vlivná architektonická firma Milwaukee Building Company, která pro rodinu Milbanků a jejich společníky realizovala i další práce. V roce 1911 si Isaac Milbank, spoluzakladatel společnosti Borden Milk Company a investor do ropného průmyslu, nechal v Santa Monice od Milwaukee Building Company postavit nádherné letní sídlo v řemeslném stylu. Ve stejné době postavila Milwaukee Building Company na stejné ulici v Santa Monice podobný dům pro penzionovaného majitele hotelu Henryho Weavera, který vlastnil několik hotelů na Středozápadě.
Z Milwaukee Building Company se později stala losangeleská firma Meyer & Holler, významná firma, která postavila řadu významných budov. Jejich nejznámějšími návrhy byla Čínské a Egyptské divadlo v Hollywoodu. V Long Beach navrhli budovy Ocean Center Building, Walker’s Department Store a Fox West Coast Theater (nyní zbourané).
.