Era un músico tan bueno que su hermano menor Charlie (un excelente trompetista) siempre quedaba eclipsado. Jack empezó a tocar el piano a los cinco años (su madre, Helen, era pianista de ragtime), pasó a tocar la trompa barítono y, finalmente, tomó el trombón a los diez años. Teagarden trabajó en el suroeste en diversas bandas territoriales (sobre todo con el legendario pianista Peck Kelley) y luego causó sensación cuando llegó a Nueva York en 1928. Sus atrevidos solos con Ben Pollack hicieron que Glenn Miller restara importancia a su forma de tocar con la banda, y durante la época de finales de los años 20 y principios de la Depresión, «Mr. T.» grabó con frecuencia con muchos grupos, incluidos los encabezados por Roger Wolfe Kahn, Eddie Condon, Red Nichols y Louis Armstrong («Knockin’ a Jug»). Sus versiones de «Basin Street Blues» y «Beale Street Blues» (canciones que permanecerían en su repertorio durante el resto de su carrera) fueron definitivas. Teagarden, que era muy admirado por Tommy Dorsey, habría sido un candidato lógico a la fama en la era del swing, pero cometió un error estratégico. A finales de 1933, cuando parecía que el jazz nunca se iba a poner de moda comercialmente, firmó un contrato de cinco años con Paul Whiteman. Aunque la orquesta de Whiteman contó con la participación de Teagarden de vez en cuando (y tuvo un breve periodo en 1936 tocando con un pequeño grupo de la banda, los Three T’s, con su hermano Charlie y Frankie Trumbauer), el contrato impidió efectivamente que Teagarden saliera por su cuenta y se convirtiera en una estrella. Ciertamente le impidió liderar lo que finalmente se convertiría en la Bob Crosby Orchestra.