Goldberg var en veteran från andra världskriget och en av de sista få kvarvarande överlevarna från New York-skolan. Han kallades ibland för en medlem av den så kallade ”andra generationen” av abstrakta expressionister, även om han började ställa ut sina aktionsmålningar i viktiga grupputställningar på gallerier i New York City i början av 1950-talet. Goldberg började ta lektioner vid Art Students League of New York vid 14 års ålder. På 1950-talet studerade han måleri med Hans Hofmann, och han diskuterade måleri med Willem de Kooning, Lee Krasner, Jackson Pollock, Franz Kline, Mark Rothko och flera andra från New York-skolan ibland på The Eighth Street Club, en regelbunden mötesplats för moderna konstnärer som arbetade på och runt Tenth Street i New York och ibland på Cedar Bar. Han började ställa ut sina målningar i New York i början av 1950-talet, och några av hans abstrakta expressionister var konstnärer som Joan Mitchell, Alfred Leslie, Grace Hartigan, Helen Frankenthaler, Knox Martin, Friedel Dzubas, Norman Bluhm och Sam Francis med flera.

Michael Goldberg blev känd i slutet av 1950- och början av 1960-talet, precis när färgfältsmåleri, hårdmålning och popkonst kom upp på scenen. I takt med att modet förändrades i konstvärlden erkändes inte hans största prestationer som målare i tillräcklig utsträckning, och som många i hans generation förbisågs hans verk under många år. I början av 1950-talet var han känd för en affär med poeten och dramatikern Violet Ranny Lang, som hyllas i hennes pjäs ”Fire Exit”, vilket berättas i Alison Luries memoarer V.R. Lang, Poems & Plays, with a Memoir by Alison Lurie. På 1970- och 1980-talen började hans arbete få erkännande och uppskattning och han hade en lång, framgångsrik och hyllad karriär som abstrakt målare. Hans verk liksom andra av den abstrakta expressionistiska generationen uttryckte en målande integration av västerländsk metafysik och österländsk filosofi. Under hela sin långa karriär och in i sina mogna år fortsatte han att undervisa, måla och ställa ut sina verk. Hans lektioner vid School of Visual Arts var välbesökta av hängivna elever och beundrare. Han bodde tillsammans med sin fru och långvariga följeslagare, målaren Lynn Umlauf, som också undervisar vid School of Visual Arts. Han dog på Manhattan i en hjärtattack. Han efterlämnar även sin bror, författaren Gerald Jay Goldberg.