A fost un muzician atât de bun încât fratele mai mic Charlie (un trompetist excelent) a fost mereu pus în umbră. Jack a început la pian la vârsta de cinci ani (mama sa, Helen, era pianistă de ragtime), a trecut la corn bariton și, în cele din urmă, s-a apucat de trombon când avea zece ani. Teagarden a lucrat în sud-vest într-o varietate de trupe de teritoriu (mai ales cu legendarul pianist Peck Kelley) și apoi a făcut senzație când a venit la New York în 1928. Solo-urile sale îndrăznețe cu Ben Pollack l-au determinat pe Glenn Miller să renunțe la propria sa interpretare în trupă, iar la sfârșitul anilor ’20/începutul perioadei de criză, „Mr. T.” a înregistrat frecvent cu multe trupe, inclusiv cu unități conduse de Roger Wolfe Kahn, Eddie Condon, Red Nichols și Louis Armstrong („Knockin’ a Jug”). Versiunile sale de „Basin Street Blues” și „Beale Street Blues” (melodii care vor rămâne în repertoriul său pentru tot restul carierei) au fost definitive. Teagarden, care era foarte admirat de Tommy Dorsey, ar fi fost un candidat logic pentru faimă în epoca swing, dar a făcut o greșeală strategică. La sfârșitul anului 1933, când se părea că jazzul nu va prinde niciodată pe plan comercial, a semnat un contract pe cinci ani cu Paul Whiteman. Deși în orchestra lui Whiteman a cântat Teagarden din când în când (iar în 1936 a avut o scurtă perioadă în care a cântat cu un mic grup din formație, Three T’s, alături de fratele său Charlie și Frankie Trumbauer), contractul l-a împiedicat efectiv pe Teagarden să iasă pe cont propriu și să devină o vedetă. Cu siguranță l-a împiedicat să conducă ceea ce avea să devină în cele din urmă Bob Crosby Orchestra.

.