Hij was zo’n goede muzikant dat zijn jongere broer Charlie (een uitstekende trompettist) altijd werd overschaduwd. Jack begon op vijfjarige leeftijd met piano (zijn moeder Helen was een ragtime pianiste), stapte over op bariton hoorn, en begon uiteindelijk met trombone toen hij tien was. Teagarden werkte in het Zuidwesten in verschillende territory bands (vooral met de legendarische pianist Peck Kelley) en baarde opzien toen hij in 1928 naar New York kwam. Zijn gedurfde solo’s met Ben Pollack zorgden ervoor dat Glenn Miller de nadruk op zijn eigen spel in de band legde, en tijdens de late jaren ’20/begin van de depressie nam “Mr. T.” vaak op met veel groepen, waaronder groepen onder leiding van Roger Wolfe Kahn, Eddie Condon, Red Nichols, en Louis Armstrong (“Knockin’ a Jug”). Zijn versies van “Basin Street Blues” en “Beale Street Blues” (songs die de rest van zijn carrière op zijn repertoire zouden blijven staan) waren definitief. Teagarden, die zeer bewonderd werd door Tommy Dorsey, zou een logische kandidaat zijn geweest voor roem in het swingtijdperk, maar hij maakte een strategische fout. Eind 1933, toen het er naar uit zag dat jazz nooit commercieel zou aanslaan, tekende hij een vijfjarig contract met Paul Whiteman. Hoewel Teagarden af en toe te horen was in Whiteman’s Orchestra (en hij in 1936 een korte periode speelde met een kleine groep uit de band, de Three T’s, met zijn broer Charlie en Frankie Trumbauer), weerhield het contract Teagarden er effectief van om op eigen houtje op te treden en een ster te worden. Het weerhield hem er zeker van om te leiden wat uiteindelijk het Bob Crosby Orchestra zou worden.