第二次世界大戦の退役軍人であるゴールドバーグは、ニューヨーク派の最後の生き残りの一人であり、いわゆる「第二世代」の抽象表現者の一員と呼ばれることもあったが、1950年代初頭にはニューヨークのギャラリーで重要なグループ展に彼のアクション・ペインティングを展示するようになった。 ゴールドバーグは、14歳のときにニューヨークのアート・スチューデンツ・リーグで授業を受けはじめた。 1950年代にはハンス・ホフマンに絵画を学び、ウィレム・デ・クーニング、リー・クラスナー、ジャクソン・ポロック、フランツ・クライン、マーク・ロスコらニューヨーク派の数人と、ニューヨークの10番街周辺で活動する現代アーティストたちの定例集会所「エイト・ストリートクラブ」や時には「シダーバー」で絵画について語り合うこともあったという。 1950年代前半にニューヨークで展示を始め、ジョーン・ミッチェル、アルフレッド・レスリー、グレース・ハーティガン、ヘレン・フランケンサーラー、ノックス・マーティン、フリーデル・デュバス、ノーマン・ブルーム、サム・フランシスなどの抽象表現主義の仲間たちが参加しました。 しかし、流行の移り変わりとともに、彼の画家としての偉大な功績は十分に認められることなく、同世代の画家たちと同様に、彼の作品は長い間見過ごされてきました。 1950年代初頭、詩人で劇作家のヴァイオレット・ラニー・ラングと不倫関係にあったことが知られ、アリソン・ルーリーの回想録『V.R. Lang, Poems & Plays, with a Memoir by Alison Lurie』で、彼女の劇「Fire Exit」が謳われた。 しかし、1970年代から1980年代にかけて、彼の作品は認識と評価を得るようになり、抽象画家として長い間、成功を収め、名声を得るようになった。 彼の作品は、他の抽象表現主義の世代と同様に、西洋の形而上学と東洋哲学の絵画的統合を表現している。 その長いキャリアを通じて、また壮年期に入っても、彼は教え、描き、そして作品を展示し続けました。 スクール・オブ・ビジュアル・アーツでの彼の授業には、熱心な生徒や崇拝者が多く集まりました。 妻であり、長年の伴侶であった画家のリン・ウムラウフ（彼もまたスクール・オブ・ビジュアルアーツで教鞭をとっている）と同居していた。 マンハッタンで心臓発作のため死去。 弟に作家のジェラルド・ジェイ・ゴールドバーグがいる

。