Das Gebäude, in dem sich das Long Beach Museum of Art befindet, wurde 1912 als Sommerhaus von Elizabeth Milbank Anderson erbaut, einer wohlhabenden Philanthropin und Erbin von Jeremiah Milbank, der ein Finanzier, Mitbegründer der Borden Company und Gründer der Chicago, Milwaukee & St. Paul Railroad war. Laut Fortune Magazine waren „eine Reihe von Milbanks bedeutende Persönlichkeiten in der Industriegeschichte der USA, und die Familie hat auch ihre Spuren in den Bildungs- und medizinischen Einrichtungen des Landes hinterlassen…“ (Mai 1959).
Elizabeth Milbank Anderson (1850-1921) war eine energische, willensstarke Frau mit einem breiten Spektrum an Interessen. Sie war eine erfolgreiche Geschäftsfrau, Philanthropin und Kunstsammlerin, die häufig nach Europa reiste. 1905 gründete sie den Milbank Memorial Fund, der Zuschüsse für verschiedene medizinische und pädagogische Projekte gewährte; dieser Fonds besteht noch immer. Sie stiftete eine Bibliothek in Greenwich, Connecticut, und schenkte dem Barnard College in New York City drei ausgewählte Grundstücke, auf denen die Milbank Hall errichtet wurde. Sie baute öffentliche Einrichtungen für die Armen, wie z. B. eine Sportarena und öffentliche Bäder, und führte ein Programm für kostenlose Schulspeisung ein. Ihr Ehemann, Abram A. Anderson, war ein bekannter Porträtmaler und Freund von Teddy Roosevelt.
Im Jahr 1926 wurde das Haus zum ersten Gesellschafts-, Sport- und Strandclub von Long Beach, dem Club California Casa Real. Seine Bedeutung wurde bald durch den Pacific Coast Club in den Schatten gestellt, der drei Monate später eröffnet wurde.
Von 1929 bis 1944 besaß Thomas A. O’Donnell, ein Pionier der kalifornischen Ölindustrie, das Haus. Er erschloss das Coalinga-Feld, half bei der Gründung der American Petroleum Corporation und wurde Präsident der California Petroleum Co. und der erste CEO des American Petroleum Institute.
Während des Zweiten Weltkriegs diente das Haus als Club für Unteroffiziere der U.S. Navy. Im Jahr 1950 wurde es von der Stadt Long Beach für ein städtisches Kunstzentrum erworben und 1957 zum Long Beach Museum of Art ernannt. Heute befindet sich das Museum zwar immer noch im Besitz der Stadt Long Beach, aber der laufende Betrieb wird von einer privaten Stiftung, der Long Beach Museum of Art Foundation, übernommen. In den späten 1990er Jahren unternahm die Stiftung eine große Kapitalkampagne, um die vollständige Restaurierung der historischen Einrichtungen, die Verlegung des Kutschenhauses und den Bau eines neuen zweistöckigen Ausstellungspavillons zu finanzieren. Das Projekt wurde im September 2000 abgeschlossen.
Das Elizabeth Milbank Anderson House und das Kutschenhaus (heute das Miller Education Center) wurden von der Milwaukee Building Company entworfen und gebaut, einem einflussreichen Architekturbüro, das auch andere Arbeiten für die Familie Milbank und ihre Partner ausführte. 1911 ließ sich Isaac Milbank, Mitbegründer der Borden Milk Company und Ölinvestor, von der Milwaukee Building Company ein prächtiges Sommerhaus im Craftsman-Stil in Santa Monica errichten. Zur gleichen Zeit baute die Milwaukee Building Company in der gleichen Straße in Santa Monica ein ähnliches Haus für den pensionierten Hotelbesitzer Henry Weaver, der mehrere Hotels im Mittleren Westen besaß.
Die Milwaukee Building Company ging später in die Firma Meyer & Holler in Los Angeles über, eine bedeutende Firma, die zahlreiche bedeutende Gebäude baute. Ihre berühmtesten Entwürfe waren das Chinesische und das Ägyptische Theater in Hollywood. In Long Beach entwarfen sie das Ocean Center Building, Walker’s Department Store und das Fox West Coast Theater (heute abgerissen).