Veterano de la Segunda Guerra Mundial, Goldberg fue uno de los últimos supervivientes de la Escuela de Nueva York; en ocasiones se le consideró miembro de la llamada «segunda generación» de expresionistas abstractos, aunque empezó a exponer sus pinturas de acción en importantes muestras colectivas en galerías de Nueva York a principios de la década de 1950. Goldberg comenzó a tomar clases en la Art Students League de Nueva York a los 14 años. En la década de 1950 estudió pintura con Hans Hofmann, y habló de pintura con Willem de Kooning, Lee Krasner, Jackson Pollock, Franz Kline, Mark Rothko y otros miembros de la Escuela de Nueva York, a veces en el Eighth Street Club, un lugar de reunión habitual de los artistas modernos que trabajaban en la calle 10 de Nueva York y sus alrededores, y a veces en el Cedar Bar. Comenzó a exponer sus cuadros en Nueva York a principios de la década de 1950, y entre sus compañeros expresionistas abstractos se encontraban artistas como Joan Mitchell, Alfred Leslie, Grace Hartigan, Helen Frankenthaler, Knox Martin, Friedel Dzubas, Norman Bluhm y Sam Francis, entre otros.

Michael Goldberg cobró protagonismo a finales de la década de 1950 y principios de la de 1960, justo cuando la pintura de campo de color, la pintura de borde duro y el arte pop emergieron en el centro del escenario. Con el cambio de modas en el mundo del arte, sus mayores logros como pintor no fueron suficientemente reconocidos y, como muchos de su generación, su obra pasó desapercibida durante muchos años. A principios de la década de 1950 fue conocido por un romance con la poetisa y dramaturga Violet Ranny Lang, que se celebra en su obra «Fire Exit», tal y como se cuenta en las memorias de Alison Lurie, V.R. Lang, Poems & Plays, with a Memoir by Alison Lurie. Sin embargo, en los años 70 y 80 su obra empezó a ser reconocida y apreciada y disfrutó de una larga, exitosa y celebrada carrera como pintor abstracto. Su obra, al igual que la de otros miembros de la generación expresionista abstracta, expresaba una integración pictórica de la metafísica occidental y la filosofía oriental. A lo largo de su dilatada carrera y en su madurez, siguió enseñando, pintando y exponiendo su obra. Sus clases en la Escuela de Artes Visuales contaban con la asistencia de devotos estudiantes y admiradores. Vivía con su esposa y compañera de muchos años, la pintora Lynn Umlauf, que también enseña en la Escuela de Artes Visuales. Murió en Manhattan de un ataque al corazón. También le sobrevive su hermano, el escritor Gerald Jay Goldberg.