Hän oli niin hieno muusikko, että nuorempi veli Charlie (erinomainen trumpetisti) jäi aina varjoon. Jack aloitti pianonsoiton viisivuotiaana (hänen äitinsä Helen oli ragtime-pianisti), siirtyi baritonitorveen ja otti lopulta pasuunan kymmenvuotiaana. Teagarden työskenteli lounaassa erilaisissa territoriaalibändeissä (erityisesti legendaarisen pianisti Peck Kelleyn kanssa) ja aiheutti sitten sensaation, kun hän tuli New Yorkiin vuonna 1928. Hänen rohkeat soolonsa Ben Pollackin kanssa saivat Glenn Millerin vähentämään omaa soittoaan yhtyeen kanssa, ja 20-luvun lopun ja laman alkuvuosien aikana ”Mr. T.” levytti usein monien ryhmien kanssa, muun muassa Roger Wolfe Kahnin, Eddie Condonin, Red Nicholsin ja Louis Armstrongin johtamien yksiköiden kanssa (”Knockin’ a Jug”). Hänen versionsa ”Basin Street Bluesista” ja ”Beale Street Bluesista” (kappaleet, jotka säilyivät hänen ohjelmistossaan koko hänen uransa ajan) olivat lopullisia. Teagarden, jota Tommy Dorsey ihaili suuresti, olisi ollut looginen ehdokas kuuluisuuteen swing-aikakaudella, mutta hän teki strategisen virheen. Loppuvuodesta 1933, jolloin näytti siltä, että jazz ei koskaan saisi kaupallista jalansijaa, hän allekirjoitti viisivuotisen sopimuksen Paul Whitemanin kanssa. Vaikka Whitemanin orkesterissa Teagarden esiintyi silloin tällöin (ja hänellä oli lyhyt kausi vuonna 1936, jolloin hän soitti pienen yhtyeen Three T’s -ryhmän kanssa veljensä Charlien ja Frankie Trumbauerin kanssa), sopimus esti Teagardenia tehokkaasti lähtemästä omille teilleen ja nousemasta tähdeksi. Se varmasti esti häntä johtamasta sitä, mistä lopulta tuli Bob Crosby Orchestra.