Johnson föddes i den lilla staden Alamosa i Colorado och växte upp i Denver. Han började spela gitarr vid 13 års ålder. År 1963 började han gå på Colorado State College (numera University of Northern Colorado) i Greeley för att studera musik, men hans collegekarriär avbröts när han två år senare vann en internationell talangtävling. I förstapriset ingick ett kontrakt med Epic Records.

Om att finslipa sina instrumentala färdigheter begav han sig 1966 till Barcelona, Spanien, till Liceu-konservatoriet där han studerade för de framstående klassiska gitarristerna Graciano Tarragó och Renata Tarragó. När han återvände till USA gick han med Randy Sparks i en grupp som hette New Society och gjorde en turné i Orienten.

När bandet upplöstes 1967 skrev han på för Chad Mitchell Trio i ett år och tillbringade en del av den tiden med att skriva tillsammans med en annan medlem, John Denver. Gruppen bytte namn till Denver, Boise & Johnson. När trion upphörde gjorde Johnson ett radikalt avsteg från allt han tidigare gjort genom att ta på sig en viktig biroll i off-Broadway-produktionen av ”Jacques Brel Is Alive and Well and Living in Paris.”

1971 skrev Johnson kontrakt med Atco Records för att släppa sitt första album, There Is A Breeze, som släpptes 1973 och som producerades av Johnson, Chris Dedrick, Peter Yarrow och Phil Ramone i New York och Toronto, Kanada. Johnson kände att detta första försök inte var en sann återspegling av hans musik (trots att det var en stor bästsäljare i Minneapolis-St. Paul-området) och självproducerade därför sin nästa LP 1975, For All You Mad Musicians, där han förlitade sig mer på sin röst och gitarr för att få en folkkänsla. Han följde upp detta med Ain’t Dis Da Life, där han lade till en rytmsektion. Med varje ny inspelning och hans fortsatta turnéer ökade hans popularitet. Det var dags att göra ett försök på den nationella marknaden.

I samarbete med Brent Maher och Steve Gibson i Nashville, Tennessee, skapade Johnson en demo med två låtar som bestod av ”Bluer Than Blue” och ”Almost Like Being in Love” (den sistnämnda låten från Broadwaymusikalen Brigadoon). EMI America lyssnade en gång och slösade ingen tid på att skriva kontrakt med honom och fick snabbt ut The Michael Johnson Album 1978. ”Bluer Than Blue” skrevs av Randy Goodrum. Den första singeln, ”Bluer Than Blue”, blev Johnsons första topp 40-hit och nådde topp 12 på Billboard Hot 100-listan sommaren 1978; låten blev en toppsingel på Adult Contemporary-listan. ”Almost Like Being in Love” nådde plats 91 på R&B-listan samtidigt som den nådde topp 5 på AC-listan och topp 40 på poplistan. Soul-sångerskan Ruby Wilson coverade ”Bluer Than Blue”.

Johnson spelade in fem album totalt för EMI och 1985 flyttade han över till RCA Records, där han antog en modern countrystil som förblev förenlig med hans mjuka, mjuka läggning. Han fick fem topp tio-hits på countrylistan mellan 1986 och 1989, bland annat topparna ”Give Me Wings” och ”The Moon Is Still Over Her Shoulder”. Efter två countryalbum på RCA (plus två samlingar av största hits) gick Johnson över till Atlantic Records 1991.

1995 fick countrygruppen 4 Runner en mindre hit med singeln ”Cain’s Blood”, till vilken Johnson skrev en uppdaterad version tillsammans med Jack Sundrud från Poco.