Era un musicista così bravo che il fratello minore Charlie (un eccellente trombettista) veniva sempre messo in ombra. Jack iniziò con il pianoforte all’età di cinque anni (sua madre Helen era una pianista di ragtime), passò al corno baritono, e infine prese il trombone quando aveva dieci anni. Teagarden lavorò nel sud-ovest in una varietà di band del territorio (in particolare con il leggendario pianista Peck Kelley) e poi fece sensazione quando venne a New York nel 1928. I suoi audaci assoli con Ben Pollack indussero Glenn Miller a de-enfatizzare il suo modo di suonare con la band, e durante la fine degli anni ’20 e l’inizio della Depressione, “Mr. T.” registrò frequentemente con molti gruppi, inclusi quelli guidati da Roger Wolfe Kahn, Eddie Condon, Red Nichols e Louis Armstrong (“Knockin’ a Jug”). Le sue versioni di “Basin Street Blues” e “Beale Street Blues” (canzoni che sarebbero rimaste nel suo repertorio per il resto della sua carriera) erano definitive. Teagarden, che era molto ammirato da Tommy Dorsey, sarebbe stato un candidato logico per la fama nell’era dello swing, ma fece un errore strategico. Alla fine del 1933, quando sembrava che il jazz non avrebbe mai preso piede commercialmente, firmò un contratto di cinque anni con Paul Whiteman. Anche se l’orchestra di Whiteman ha fatto sì che Teagarden si esibisse di tanto in tanto (e ha avuto un breve periodo nel 1936 suonando con un piccolo gruppo della band, i Three T’s, con suo fratello Charlie e Frankie Trumbauer), il contratto ha effettivamente impedito a Teagarden di uscire da solo e diventare una star. Certamente gli impedì di guidare quella che alla fine divenne la Bob Crosby Orchestra.