Als Veteran des Zweiten Weltkriegs war Goldberg einer der letzten verbliebenen Überlebenden der New Yorker Schule; er wurde manchmal als Mitglied der so genannten „zweiten Generation“ der Abstrakten Expressionisten bezeichnet, obwohl er seine Aktionsbilder bereits in den frühen 1950er Jahren in wichtigen Gruppenausstellungen in Galerien in New York City ausstellte. Goldberg begann im Alter von 14 Jahren mit dem Unterricht an der Art Students League of New York. In den 1950er Jahren studierte er Malerei bei Hans Hofmann und diskutierte mit Willem de Kooning, Lee Krasner, Jackson Pollock, Franz Kline, Mark Rothko und einigen anderen Vertretern der New Yorker Schule über Malerei, manchmal im Eighth Street Club, einem regelmäßigen Treffpunkt moderner Künstler, die in und um die Tenth Street in New York arbeiteten, und manchmal in der Cedar Bar. In den frühen 1950er Jahren begann er, seine Bilder in New York City auszustellen, und zu seinen abstrakt-expressionistischen Kollegen gehörten unter anderem Künstler wie Joan Mitchell, Alfred Leslie, Grace Hartigan, Helen Frankenthaler, Knox Martin, Friedel Dzubas, Norman Bluhm und Sam Francis.

Michael Goldberg wurde in den späten 1950er und frühen 1960er Jahren bekannt, als die Farbfeldmalerei, die Hard-Edge-Malerei und die Pop Art in den Vordergrund traten. Mit dem Wechsel der Moden in der Kunstwelt wurden seine größten Leistungen als Maler nicht ausreichend gewürdigt, und wie viele seiner Generation wurde sein Werk viele Jahre lang übersehen. In den frühen 1950er Jahren wurde er durch eine Affäre mit der Dichterin und Dramatikerin Violet Ranny Lang bekannt, die in ihrem Stück „Fire Exit“ gefeiert wird, wie in Alison Luries Memoiren V.R. Lang, Poems & Plays, with a Memoir by Alison Lurie erzählt wird. In den 1970er und 1980er Jahren begann sein Werk Anerkennung und Wertschätzung zu finden, und er genoss eine lange, erfolgreiche und gefeierte Karriere als abstrakter Maler. Wie andere Künstler der Generation der abstrakten Expressionisten brachte er in seinem Werk eine malerische Integration von westlicher Metaphysik und östlicher Philosophie zum Ausdruck. Während seiner langen Karriere und bis ins hohe Alter unterrichtete er weiterhin, malte und stellte seine Werke aus. Seine Kurse an der School of Visual Arts wurden von engagierten Studenten und Bewunderern gut besucht. Er lebte mit seiner Frau und langjährigen Lebensgefährtin, der Malerin Lynn Umlauf, zusammen, die ebenfalls an der School of Visual Arts unterrichtet. Er starb in Manhattan an einem Herzinfarkt. Er hinterlässt auch seinen Bruder, den Schriftsteller Gerald Jay Goldberg.