La structure occupée par le Long Beach Museum of Art a été construite en 1912 comme résidence d’été par Elizabeth Milbank Anderson, une riche philanthrope et héritière de Jeremiah Milbank, qui était un financier, un cofondateur de la Borden Company et un fondateur de la Chicago, Milwaukee & St. Paul Railroad. Selon le magazine Fortune, « un certain nombre de Milbanks ont été des personnages considérables dans l’histoire industrielle des États-Unis et la famille a également laissé son empreinte sur les institutions éducatives et médicales du pays… » (mai 1959).
Elizabeth Milbank Anderson (1850-1921) était une femme énergique, forte d’esprit, aux intérêts très variés. Elle était une femme d’affaires prospère, une philanthrope et une collectionneuse d’art qui voyageait fréquemment en Europe. En 1905, elle a créé le Milbank Memorial Fund, qui accordait des subventions à divers projets médicaux et éducatifs ; ce fonds existe toujours. Elle a fait don d’une bibliothèque à Greenwich, dans le Connecticut, et a donné trois pâtés de maisons de choix de la ville de New York au Barnard College, sur lesquels a été construit Milbank Hall. Elle a construit des installations publiques pour les pauvres, telles qu’un terrain de sport et des bains publics, et a mis en place un programme de repas scolaires gratuits. Son mari, Abram A. Anderson, était un portraitiste réputé et un ami de Teddy Roosevelt.
En 1926, la maison est devenue le premier club social, sportif et de plage de Long Beach, le Club California Casa Real. Sa proéminence a été rapidement éclipsée par le Pacific Coast Club, qui a ouvert trois mois plus tard.
De 1929 à 1944, Thomas A. O’Donnell, un industriel pionnier de l’industrie pétrolière californienne, était propriétaire de la maison. Il a développé le champ de Coalinga, a contribué à l’organisation de l’American Petroleum Corporation et est devenu président de la California Petroleum Co. et le premier PDG de l’American Petroleum Institute.
Pendant la Seconde Guerre mondiale, la maison était le club des premiers maîtres de la marine américaine. Il a été acheté par la ville de Long Beach en 1950 pour un centre d’art municipal, et désigné en 1957 comme le Long Beach Museum of Art. Aujourd’hui, bien que le musée soit toujours la propriété de la ville de Long Beach, ses opérations quotidiennes sont gérées par une fondation privée, la Long Beach Museum of Art Foundation. À la fin des années 1990, la fondation a entrepris une grande campagne d’investissement pour financer la restauration complète des installations historiques, le déplacement de la remise à calèches et la construction d’un nouveau pavillon d’exposition de deux étages. Le projet a été achevé en septembre 2000.
La maison Elizabeth Milbank Anderson et la remise à calèches (aujourd’hui le Miller Education Center) ont été conçues et construites par la Milwaukee Building Company, un cabinet d’architectes influent qui a réalisé d’autres travaux pour la famille Milbank et ses associés. En 1911, Isaac Milbank, cofondateur de la Borden Milk Company et investisseur pétrolier, s’est fait construire une magnifique maison d’été Craftsman à Santa Monica par la Milwaukee Building Company. À la même époque, la Milwaukee Building Company a construit une maison similaire dans la même rue de Santa Monica pour le propriétaire d’hôtel à la retraite Henry Weaver, qui possédait plusieurs hôtels du Midwest.
La Milwaukee Building Company est devenue plus tard la firme de Los Angeles de Meyer & Holler, une firme éminente qui a construit de nombreux bâtiments emblématiques. Leurs conceptions les plus célèbres étaient les théâtres chinois et égyptien à Hollywood. À Long Beach, ils ont conçu l’Ocean Center Building, le Walker’s Department Store et le Fox West Coast Theater (aujourd’hui démoli).