Johnson wurde in der Kleinstadt Alamosa, Colorado geboren und wuchs in Denver auf. Mit 13 Jahren begann er Gitarre zu spielen. Ab 1963 besuchte er das Colorado State College (heute University of Northern Colorado) in Greeley, um Musik zu studieren, aber seine College-Karriere wurde abgebrochen, als er zwei Jahre später einen internationalen Talentwettbewerb gewann. Als erster Preis erhielt er einen Vertrag mit Epic Records.

Um seine instrumentalen Fähigkeiten zu verbessern, ging er 1966 nach Barcelona, Spanien, an das Liceu-Konservatorium, wo er bei den bedeutenden klassischen Gitarristen Graciano Tarragó und Renata Tarragó studierte. Nach seiner Rückkehr in die USA schloss er sich Randy Sparks in einer Gruppe namens New Society an und unternahm eine Tournee durch den Orient.

Als sich die Band 1967 auflöste, schloss er sich für ein Jahr dem Chad Mitchell Trio an und verbrachte einen Teil dieser Zeit als Co-Autor mit einem anderen Mitglied, John Denver. Die Gruppe wurde in Denver, Boise & Johnson umbenannt. Als sich das Trio auflöste, wandte sich Johnson radikal von allem ab, was er zuvor gemacht hatte, indem er eine wichtige Nebenrolle in der Off-Broadway-Produktion von „Jacques Brel Is Alive and Well and Living in Paris“ übernahm.

1971 unterschrieb Johnson bei Atco Records und veröffentlichte sein erstes Album There Is A Breeze, das 1973 erschien und von Johnson, Chris Dedrick, Peter Yarrow und Phil Ramone in New York und Toronto, Kanada, produziert wurde. Da er das Gefühl hatte, dass dieses erste Werk seine Musik nicht richtig widerspiegelte (obwohl es ein großer Bestseller in der Region Minneapolis-St. Paul war), produzierte Johnson 1975 seine nächste LP For All You Mad Musicians selbst, wobei er sich mehr auf seine Stimme und seine Gitarre verließ, um ein Folk-Gefühl zu erzeugen. Darauf folgte Ain’t Dis Da Life, bei dem er eine Rhythmusgruppe hinzufügte. Mit jeder neuen Aufnahme und seinen fortgesetzten Tourneen wuchs seine Popularität. Es war an der Zeit, auf dem nationalen Markt Fuß zu fassen.

Mit Brent Maher und Steve Gibson in Nashville, Tennessee, nahm Johnson ein Demo mit zwei Songs auf, bestehend aus „Bluer Than Blue“ und „Almost Like Being in Love“ (letzterer Song stammt aus dem Broadway-Musical Brigadoon). EMI America hörte sich den Song an und nahm ihn sofort unter Vertrag. 1978 erschien das Michael Johnson Album. „Bluer Than Blue“ wurde von Randy Goodrum geschrieben. Die erste Single, „Bluer Than Blue“, wurde Johnsons erster Top-40-Hit, der im Sommer 1978 auf Platz 12 der Billboard Hot 100 Charts landete; der Song wurde auch zur Top-Single in den Adult Contemporary Charts. „Almost Like Being in Love“ stieg bis auf Platz 91 der R&B-Charts und erreichte die Top 5 der AC-Charts sowie die Top 40 der Pop-Charts. Die Soulsängerin Ruby Wilson coverte „Bluer Than Blue“.

Johnson nahm insgesamt fünf Alben für EMI auf und wechselte 1985 zu RCA Records, wo er einen zeitgenössischen Country-Stil annahm, der mit seinen weichen, sanften Neigungen kompatibel blieb. Von 1986 bis 1989 landete er fünf Top-Ten-Country-Hits, darunter die Chartstürmer „Give Me Wings“ und „The Moon Is Still Over Her Shoulder“. Nach zwei Country-Alben bei RCA (plus zwei Greatest Hits-Sammlungen) wechselte Johnson 1991 zu Atlantic Records.

Im Jahr 1995 hatte die Country-Musikgruppe 4 Runner einen kleinen Hit mit der Single „Cain’s Blood“, für die Johnson zusammen mit Jack Sundrud von Poco eine aktualisierte Version schrieb.