Ele era um músico tão bom que o irmão mais novo Charlie (um excelente trompetista) estava sempre ofuscado. Jack começou a tocar piano aos cinco anos de idade (sua mãe Helen era pianista de ragtime), mudou para trompa barítono, e finalmente pegou trombone quando tinha dez anos. Teagarden trabalhou no Sudoeste em diversas bandas territoriais (principalmente com o lendário pianista Peck Kelley) e depois causou sensação quando veio para Nova York em 1928. Seus ousados solos com Ben Pollack fizeram com que Glenn Miller desfatizasse o seu próprio tocar com a banda, e durante a era da Depressão, “Mr. T.” gravou frequentemente com muitos grupos, incluindo unidades lideradas por Roger Wolfe Kahn, Eddie Condon, Red Nichols e Louis Armstrong (“Knockin’ a Jug”). Suas versões de “Basin Street Blues” e “Beale Street Blues” (canções que permaneceriam em seu repertório pelo resto de sua carreira) foram definitivas. Teagarden, que era muito admirado por Tommy Dorsey, teria sido um candidato lógico à fama na era do swing, mas cometeu um erro estratégico. No final de 1933, quando parecia que o jazz nunca iria pegar comercialmente, ele assinou um contrato de cinco anos com Paul Whiteman. Embora a Orquestra de Whiteman tenha apresentado Teagarden de vez em quando (e ele teve um breve período em 1936 tocando com um pequeno grupo da banda, os Três T’s, com seu irmão Charlie e Frankie Trumbauer), o contrato efetivamente impediu Teagarden de sair por conta própria e se tornar uma estrela. Certamente o impediu de liderar o que viria a se tornar a Bob Crosby Orchestra.