Han var så god en musiker, at hans yngre bror Charlie (en fremragende trompetist) altid blev overskygget. Jack begyndte at spille klaver som femårig (hans mor Helen var ragtimepianist), skiftede til barytonhorn og begyndte til sidst at spille basun, da han var ti år. Teagarden arbejdede i det sydvestlige USA i forskellige territoriebands (især med den legendariske pianist Peck Kelley) og skabte derefter en sensation, da han kom til New York i 1928. Hans dristige soloer sammen med Ben Pollack fik Glenn Miller til at nedprioritere sit eget spil i bandet, og i slutningen af 20’erne og begyndelsen af depressionen indspillede “Mr. T.” ofte med mange grupper, herunder enheder ledet af Roger Wolfe Kahn, Eddie Condon, Red Nichols og Louis Armstrong (“Knockin’ a Jug”). Hans versioner af “Basin Street Blues” og “Beale Street Blues” (sange, som skulle forblive i hans repertoire resten af hans karriere) var definitive. Teagarden, som blev meget beundret af Tommy Dorsey, ville have været en logisk kandidat til berømmelse i swing-æraen, men han begik en strategisk fejl. I slutningen af 1933, da det så ud til, at jazzen aldrig ville slå igennem kommercielt, underskrev han en femårig kontrakt med Paul Whiteman. Selv om Teagarden indimellem spillede i Whitemans orkester (og han havde en kort periode i 1936, hvor han spillede med en lille gruppe fra orkestret, The Three T’s, sammen med sin bror Charlie og Frankie Trumbauer), afholdt kontrakten Teagarden effektivt fra at gå ud på egen hånd og blive en stjerne. Den forhindrede ham i hvert fald i at lede det, der senere skulle blive Bob Crosby Orchestra.