Il était un si bon musicien que son frère cadet Charlie (un excellent trompettiste) était toujours éclipsé. Jack a commencé le piano à l’âge de cinq ans (sa mère Helen était une pianiste de ragtime), est passé au cor baryton et a finalement pris le trombone à l’âge de dix ans. Teagarden travaille dans le Sud-Ouest dans divers groupes de territoire (notamment avec le légendaire pianiste Peck Kelley), puis fait sensation lorsqu’il arrive à New York en 1928. Ses solos audacieux avec Ben Pollack ont incité Glenn Miller à réduire son propre jeu avec l’orchestre, et à la fin des années 20 et au début de la Dépression, « Mr. T. » a enregistré fréquemment avec de nombreux groupes, y compris des unités dirigées par Roger Wolfe Kahn, Eddie Condon, Red Nichols et Louis Armstrong (« Knockin’ a Jug »). Ses versions de « Basin Street Blues » et « Beale Street Blues » (chansons qui resteront dans son répertoire jusqu’à la fin de sa carrière) sont définitives. Teagarden, qui était très admiré par Tommy Dorsey, aurait été un candidat logique à la célébrité à l’ère du swing, mais il a commis une erreur stratégique. À la fin de l’année 1933, alors qu’il semblait que le jazz ne connaîtrait jamais de succès commercial, il a signé un contrat de cinq ans avec Paul Whiteman. Bien que Teagarden se produise de temps à autre dans l’orchestre de Whiteman (et qu’il joue brièvement en 1936 avec un petit groupe de l’orchestre, les Three T’s, avec son frère Charlie et Frankie Trumbauer), le contrat l’empêche effectivement de se mettre à son compte et de devenir une star. Il l’a certainement empêché de diriger ce qui allait devenir le Bob Crosby Orchestra.