Han var en så bra musiker att hans yngre bror Charlie (en utmärkt trumpetare) alltid hamnade i skuggan. Jack började spela piano vid fem års ålder (hans mamma Helen var ragtimepianist), bytte till barytonhorn och började slutligen spela trombon när han var tio år. Teagarden arbetade i sydväst i olika territorieband (framför allt med den legendariske pianisten Peck Kelley) och skapade sedan en sensation när han kom till New York 1928. Hans djärva solonummer tillsammans med Ben Pollack fick Glenn Miller att minska sitt eget spel i bandet, och under slutet av 20-talet och början av depressionen spelade ”Mr T.” ofta in med många grupper, bland annat med Roger Wolfe Kahn, Eddie Condon, Red Nichols och Louis Armstrong (”Knockin’ a Jug”). Hans versioner av ”Basin Street Blues” och ”Beale Street Blues” (låtar som skulle finnas kvar i hans repertoar under resten av hans karriär) var definitiva. Teagarden, som beundrades mycket av Tommy Dorsey, skulle ha varit en logisk kandidat till berömmelse under swing-eran, men han gjorde ett strategiskt misstag. I slutet av 1933, när det såg ut som om jazzen aldrig skulle slå igenom kommersiellt, skrev han på ett femårskontrakt med Paul Whiteman. Även om Teagarden spelade i Whitemans orkester då och då (och han hade en kort period 1936 då han spelade med en liten grupp från orkestern, The Three T’s, med sin bror Charlie och Frankie Trumbauer), hindrade kontraktet Teagarden från att gå ut på egen hand och bli en stjärna. Det hindrade honom definitivt från att leda det som så småningom skulle bli Bob Crosby Orchestra.