Goldberg var en veteran fra Anden Verdenskrig og en af de sidste få overlevende fra New York-skolen; han blev undertiden omtalt som et medlem af den såkaldte “anden generation” af abstrakte ekspressionister, selv om han begyndte at udstille sine aktionsmalerier i vigtige gruppeudstillinger i gallerier i New York City i begyndelsen af 1950’erne. Goldberg begyndte at tage undervisning på Art Students League of New York i en alder af 14 år. I 1950’erne studerede han maleri med Hans Hofmann, og han diskuterede maleri med Willem de Kooning, Lee Krasner, Jackson Pollock, Franz Kline, Mark Rothko og flere andre fra New York-skolen nogle gange på The Eighth Street Club, et regelmæssigt mødested for moderne kunstnere, der arbejdede i og omkring Tenth Street i New York, og nogle gange på Cedar Bar. Han begyndte at udstille sine malerier i New York City i begyndelsen af 1950’erne, og nogle af hans abstrakt ekspressionistiske ligesindede var kunstnere som Joan Mitchell, Alfred Leslie, Grace Hartigan, Helen Frankenthaler, Knox Martin, Friedel Dzubas, Norman Bluhm og Sam Francis blandt andre.

Michael Goldberg blev kendt i slutningen af 1950’erne og begyndelsen af 1960’erne, ligesom Color field painting, Hard-edge painting og Pop Art kom frem på scenen. Med den skiftende mode i kunstverdenen blev hans største bedrifter som maler ikke tilstrækkeligt anerkendt, og som mange andre af hans generation blev hans arbejde overset i mange år. Han blev i begyndelsen af 1950’erne kendt for en affære med digteren og dramatikeren Violet Ranny Lang og er hyldet i hendes stykke “Fire Exit”, som det fortælles i Alison Luries erindringsbog V.R. Lang, Poems & Plays, with a Memoir by Alison Lurie. Selv om hans arbejde i 1970’erne og 1980’erne begyndte at opnå anerkendelse og værdsættelse, og han havde en lang, succesfuld og fejret karriere som abstrakt maler. Hans værker udtrykte ligesom andre af den abstrakt ekspressionistiske generation en malerisk integration af vestlig metafysik og østlig filosofi. Gennem hele sin lange karriere og ind i sine modne år fortsatte han med at undervise, male og udstille sine værker. Hans undervisning på School of Visual Arts var velbesøgt af hengivne studerende og beundrere. Han boede sammen med sin kone og mangeårige ledsager, maleren Lynn Umlauf, som også underviser på School of Visual Arts. Han døde på Manhattan af et hjerteanfald. Han efterlader sig også sin bror, forfatteren Gerald Jay Goldberg.