Struktura zajmowana przez Long Beach Museum of Art została zbudowana w 1912 roku jako dom letni przez Elizabeth Milbank Anderson, bogatą filantropkę i spadkobierczynię Jeremiaha Milbanka, który był finansistą, współzałożycielem Borden Company i założycielem Chicago, Milwaukee & St. Paul Railroad. Według Fortune Magazine, „wielu Milbanków było znaczącymi postaciami w przemysłowej historii USA, a rodzina odcisnęła również swoje piętno na instytucjach edukacyjnych i medycznych kraju…” (May 1959).
Elizabeth Milbank Anderson (1850-1921) była energiczną, silnie myślącą kobietą o szerokim zakresie zainteresowań. Była odnoszącą sukcesy bizneswoman, filantropką i kolekcjonerką sztuki, która często podróżowała do Europy. W 1905 roku założyła Milbank Memorial Fund, z którego dotacje przeznaczane były na różne projekty medyczne i edukacyjne; fundusz ten istnieje do dziś. Podarowała bibliotekę w Greenwich, Connecticut, a Barnard College trzy przecznice wybranej nowojorskiej ziemi, na której zbudowano Milbank Hall. Zbudowała obiekty publiczne dla ubogich, takie jak arena sportowa i łaźnie publiczne, a także ustanowiła program darmowych obiadów w szkołach. Jej mąż, Abram A. Anderson, był znanym malarzem portretowym i przyjacielem Teddy’ego Roosevelta.
W 1926 roku dom stał się pierwszym społecznym, sportowym i plażowym klubem Long Beach, Club California Casa Real. Jego znaczenie zostało wkrótce przyćmione przez Pacific Coast Club, który został otwarty trzy miesiące później.
Od 1929 do 1944 roku właścicielem domu był Thomas A. O’Donnell, pionier przemysłu naftowego w Kalifornii. Rozwinął on pole Coalinga, pomógł zorganizować American Petroleum Corporation i został prezesem California Petroleum Co. oraz pierwszym dyrektorem generalnym American Petroleum Institute.
Podczas II wojny światowej dom był Klubem Starszego Oficera Marynarki Wojennej Stanów Zjednoczonych. W 1950 roku został zakupiony przez miasto Long Beach na potrzeby Miejskiego Centrum Sztuki, a w 1957 roku został przeznaczony na Muzeum Sztuki w Long Beach. Obecnie, choć muzeum nadal jest własnością miasta Long Beach, jego codzienną działalnością zajmuje się prywatna fundacja, Long Beach Museum of Art Foundation. Pod koniec lat 90-tych fundacja rozpoczęła szeroko zakrojoną kampanię kapitałową w celu sfinansowania całkowitej renowacji historycznych obiektów, przeniesienia powozowni i budowy nowego, dwupiętrowego pawilonu wystawowego. Projekt został ukończony we wrześniu 2000 roku.
Dom Elizabeth Milbank Anderson i powozownia (obecnie Centrum Edukacyjne Millera) zostały zaprojektowane i zbudowane przez Milwaukee Building Company, wpływową firmę architektoniczną, która wykonywała inne prace dla rodziny Milbank i współpracowników. W 1911 roku Isaac Milbank, współzałożyciel Borden Milk Company i inwestor naftowy, zlecił Milwaukee Building Company wybudowanie dla niego wspaniałego letniego domu w stylu Craftsman w Santa Monica. W tym samym czasie Milwaukee Building Company zbudowała podobny dom na tej samej ulicy w Santa Monica dla emerytowanego właściciela hotelu Henry’ego Weavera, który był właścicielem kilku hoteli Midwest.
The Milwaukee Building Company później przekształciła się w firmę Meyer & Holler z Los Angeles, wybitną firmę, która zbudowała wiele charakterystycznych budynków. Ich najbardziej znane projekty były chińskie i egipskie teatry w Hollywood. W Long Beach zaprojektowali Ocean Center Building, Walker’s Department Store i Fox West Coast Theater (obecnie zburzony).
.