Structura ocupată de Muzeul de Artă Long Beach a fost construită în 1912 ca locuință de vară de către Elizabeth Milbank Anderson, o filantroapă bogată și moștenitoare a lui Jeremiah Milbank, care a fost un finanțist, co-fondator al Companiei Borden și fondator al Căii Ferate Chicago, Milwaukee & St. Paul. Potrivit revistei Fortune Magazine, „un număr de Milbank au fost figuri considerabile în istoria industrială a SUA, iar familia și-a lăsat amprenta și asupra instituțiilor educaționale și medicale din țară…”… (mai 1959).

Elizabeth Milbank Anderson (1850-1921) a fost o femeie energică, cu o minte puternică și cu o gamă largă de interese. A fost o femeie de afaceri de succes, filantropistă și colecționară de artă care a călătorit frecvent în Europa. În 1905, ea a înființat Milbank Memorial Fund, care a acordat subvenții pentru diverse proiecte medicale și educaționale; acest fond există încă. A donat o bibliotecă în Greenwich, Connecticut, și a donat trei blocuri de teren ales din New York City Colegiului Barnard, pe care a fost construit Milbank Hall. A construit facilități publice pentru săraci, cum ar fi o arenă sportivă și băi publice, și a înființat un program de prânzuri școlare gratuite. Soțul ei, Abram A. Anderson, a fost un cunoscut portretist și prieten al lui Teddy Roosevelt.

În 1926, casa a devenit primul club social, sportiv și de plajă din Long Beach, Club California Casa Real. Proeminența sa a fost curând eclipsată de Pacific Coast Club, care s-a deschis trei luni mai târziu.

Între 1929 și 1944, casa a fost deținută de Thomas A. O’Donnell, un industriaș pionier al industriei petroliere din California. El a dezvoltat câmpul Coalinga, a ajutat la organizarea American Petroleum Corporation și a devenit președintele California Petroleum Co. și primul director executiv al American Petroleum Institute.

În timpul celui de-al Doilea Război Mondial, casa a fost Clubul Subofițerilor Șefi ai Marinei SUA. A fost cumpărată de orașul Long Beach în 1950 pentru un centru municipal de artă, iar în 1957 a fost desemnată ca fiind Muzeul de Artă din Long Beach. În prezent, în timp ce muzeul este încă deținut de orașul Long Beach, operațiunile sale zilnice sunt gestionate de o fundație privată, Long Beach Museum of Art Foundation. La sfârșitul anilor 1990, fundația a întreprins o campanie majoră de capital pentru a finanța restaurarea completă a instalațiilor istorice, relocarea casei de trăsuri și construirea unui nou pavilion expozițional cu două etaje. Proiectul a fost finalizat în septembrie 2000.

Casa Elizabeth Milbank Anderson și casa de trăsuri (în prezent Miller Education Center) au fost proiectate și construite de Milwaukee Building Company, o firmă de arhitectură influentă care a realizat și alte lucrări pentru familia Milbank și asociații acesteia. În 1911, Isaac Milbank, co-fondator al Borden Milk Company și investitor în industria petrolieră, a comandat o magnifică casă de vară Craftsman construită pentru el în Santa Monica de către Milwaukee Building Company. În același timp, Milwaukee Building Company a construit o casă similară pe aceeași stradă din Santa Monica pentru proprietarul de hoteluri pensionat Henry Weaver, care a deținut mai multe hoteluri din Midwest.

Milwaukee Building Company a devenit mai târziu firma din Los Angeles a lui Meyer & Holler, o firmă eminentă care a construit numeroase clădiri de referință. Cele mai faimoase proiecte ale lor au fost teatrele Chinese și Egyptian din Hollywood. În Long Beach, au proiectat Ocean Center Building, Walker’s Department Store și Fox West Coast Theater (acum demolat)

.