A estrutura ocupada pelo Long Beach Museum of Art foi construída em 1912 como uma casa de verão por Elizabeth Milbank Anderson, uma filantropa rica e herdeira de Jeremiah Milbank, que era um financiador, co-fundador da Companhia Borden, e fundador da Chicago, Milwaukee & St. Paul Railroad. Segundo a revista Fortune Magazine, “vários Milbanks foram figuras consideráveis na história industrial dos EUA e a família também deixou sua marca nas instituições educacionais e médicas do país…”. (Maio 1959).
Elizabeth Milbank Anderson (1850-1921) era uma mulher enérgica, de mente forte e com uma vasta gama de interesses. Era uma mulher de negócios de sucesso, filantropa e colecionadora de arte que viajava frequentemente para a Europa. Em 1905 ela criou o Milbank Memorial Fund, que deu subsídios a vários projetos médicos e educacionais; este fundo ainda existe. Ela doou uma biblioteca para Greenwich, Connecticut, e doou três blocos de terreno de escolha em Nova York para o Barnard College, sobre o qual foi construído o Milbank Hall. Ela construiu instalações públicas para os pobres, tais como uma arena esportiva e banhos públicos, e estabeleceu um programa de almoços escolares gratuitos. Seu marido, Abram A. Anderson, era um conhecido retratista e amigo de Teddy Roosevelt.
Em 1926, a casa tornou-se o primeiro clube social, atlético e de praia de Long Beach, o Club California Casa Real. Seu destaque foi logo eclipsado pelo Pacific Coast Club, que abriu três meses depois.
De 1929 a 1944, Thomas A. O’Donnell, um industrial pioneiro da indústria petrolífera da Califórnia, era dono da casa. Ele desenvolveu o campo de Coalinga, ajudou a organizar a American Petroleum Corporation e tornou-se presidente da California Petroleum Co. e o primeiro CEO do American Petroleum Institute.
Durante a Segunda Guerra Mundial, a casa era o Clube do Sub oficial chefe da Marinha dos Estados Unidos. Foi comprada pela Cidade de Long Beach em 1950 para um Centro de Arte Municipal, e designada em 1957 como o Museu de Arte de Long Beach. Hoje, enquanto o museu ainda é propriedade da Cidade de Long Beach, suas operações diárias são realizadas por uma fundação privada, a Fundação Museu de Arte de Long Beach. No final dos anos 90, a fundação empreendeu uma grande campanha de capital para financiar a restauração completa das instalações históricas, a mudança da casa de carruagem e a construção de um novo pavilhão de exposições de dois andares. O projeto foi concluído em setembro de 2000.
A Casa Elizabeth Milbank Anderson e a casa de carruagem (agora o Centro de Educação Miller) foram projetados e construídos pela Milwaukee Building Company, um influente escritório de arquitetura que fez outros trabalhos para a família Milbank e associados. Em 1911, Isaac Milbank, co-fundador da Borden Milk Company e investidor petrolífero, teve uma magnífica casa de verão Craftsman construída para ele em Santa Monica pela Milwaukee Building Company. Ao mesmo tempo, a Milwaukee Building Company construiu uma casa semelhante na mesma rua em Santa Monica para o proprietário reformado do hotel Henry Weaver, que era proprietário de vários hotéis do Meio Oeste.
A Milwaukee Building Company tornou-se mais tarde a firma de Los Angeles de Meyer & Holler, uma firma eminente que construiu inúmeros edifícios de referência. Os seus projectos mais famosos foram os Teatros Chinês e Egípcio em Hollywood. Em Long Beach, eles projetaram o Ocean Center Building, a Walker’s Department Store e o Fox West Coast Theater (agora demolido).