La estructura que ocupa el Museo de Arte de Long Beach fue construida en 1912 como casa de verano por Elizabeth Milbank Anderson, una rica filántropa y heredera de Jeremiah Milbank, que fue financiero, cofundador de la empresa Borden y fundador del ferrocarril Chicago, Milwaukee & St. Según la revista Fortune, «varios Milbank han sido figuras considerables en la historia industrial de los Estados Unidos y la familia también ha dejado su huella en las instituciones educativas y médicas del país…» (mayo de 1959).
Elizabeth Milbank Anderson (1850-1921) fue una mujer enérgica y de mentalidad fuerte con una amplia gama de intereses. Fue una exitosa mujer de negocios, filántropa y coleccionista de arte que viajaba con frecuencia a Europa. En 1905 creó el Fondo Conmemorativo Milbank, que concedía subvenciones a diversos proyectos médicos y educativos; este fondo sigue existiendo. Donó una biblioteca a Greenwich, Connecticut, y cedió tres manzanas de terreno de la ciudad de Nueva York al Barnard College, sobre el que se construyó el Milbank Hall. Construyó instalaciones públicas para los pobres, como un estadio deportivo y baños públicos, y estableció un programa de almuerzos escolares gratuitos. Su marido, Abram A. Anderson, era un conocido retratista y amigo de Teddy Roosevelt.
En 1926, la casa se convirtió en el primer club social, deportivo y de playa de Long Beach, el Club California Casa Real. Su protagonismo fue pronto eclipsado por el Pacific Coast Club, que abrió sus puertas tres meses después.
De 1929 a 1944, Thomas A. O’Donnell, un industrial pionero de la industria petrolera de California, fue propietario de la casa. Desarrolló el campo de Coalinga, ayudó a organizar American Petroleum Corporation y se convirtió en presidente de California Petroleum Co. y en el primer director general del American Petroleum Institute.
Durante la Segunda Guerra Mundial, la casa fue el Club de Suboficiales de la Marina de los Estados Unidos. La ciudad de Long Beach la adquirió en 1950 para crear un Centro Municipal de Arte, y en 1957 la designó como Museo de Arte de Long Beach. En la actualidad, aunque el museo sigue siendo propiedad de la ciudad de Long Beach, su funcionamiento diario corre a cargo de una fundación privada, la Long Beach Museum of Art Foundation. A finales de la década de 1990, la fundación emprendió una importante campaña de capital para financiar la restauración completa de las instalaciones históricas, el traslado de la casa de carruajes y la construcción de un nuevo pabellón de exposiciones de dos plantas. El proyecto se completó en septiembre de 2000.
La Casa Elizabeth Milbank Anderson y la casa de carruajes (actual Centro Educativo Miller) fueron diseñadas y construidas por la Milwaukee Building Company, un influyente estudio de arquitectura que realizó otros trabajos para la familia Milbank y sus asociados. En 1911, Isaac Milbank, cofundador de la Borden Milk Company e inversor en el sector del petróleo, encargó a la Milwaukee Building Company la construcción de una magnífica casa de verano Craftsman en Santa Mónica. Al mismo tiempo, la Milwaukee Building Company construyó una casa similar en la misma calle de Santa Mónica para el propietario jubilado de un hotel, Henry Weaver, que era dueño de varios hoteles del Medio Oeste.
La Milwaukee Building Company se convirtió más tarde en la empresa de Los Ángeles Meyer & Holler, una eminente firma que construyó numerosos edificios emblemáticos. Sus diseños más famosos fueron los teatros chino y egipcio de Hollywood. En Long Beach, diseñaron el Ocean Center Building, los grandes almacenes Walker’s y el Fox West Coast Theater (actualmente demolido).