Był tak znakomitym muzykiem, że młodszy brat Charlie (znakomity trębacz) był zawsze w cieniu. Jack zaczął grać na fortepianie w wieku pięciu lat (jego matka Helen była pianistką ragtime’ową), przeszedł na waltornię barytonową i wreszcie zajął się puzonem, gdy miał dziesięć lat. Teagarden pracował na południowym zachodzie w różnych zespołach terytorialnych (przede wszystkim z legendarnym pianistą Peckiem Kelleyem), a następnie wywołał sensację, gdy w 1928 roku przybył do Nowego Jorku. Jego brawurowe solówki z Benem Pollackiem sprawiły, że Glenn Miller zrezygnował z własnej gry z zespołem, a w okresie późnych lat 20. i wczesnego kryzysu „Mr. T.” często nagrywał z wieloma grupami, w tym z zespołami Rogera Wolfe’a Kahna, Eddiego Condona, Reda Nicholsa i Louisa Armstronga („Knockin’ a Jug”). Jego wersje „Basin Street Blues” i „Beale Street Blues” (piosenki, które pozostaną w jego repertuarze do końca kariery) były definitywne. Teagarden, którego bardzo podziwiał Tommy Dorsey, byłby logicznym kandydatem do sławy w epoce swingu, ale popełnił strategiczny błąd. Pod koniec 1933 roku, kiedy wydawało się, że jazz nigdy nie zyska komercyjnej popularności, podpisał pięcioletni kontrakt z Paulem Whitemanem. Wprawdzie w orkiestrze Whitemana od czasu do czasu pojawiał się Teagarden (a w 1936 roku przez krótki czas grał z małą grupą z zespołu, Three T’s, z bratem Charliem i Frankiem Trumbauerem), ale kontrakt skutecznie powstrzymał go przed samodzielnym wyjściem na scenę i zostaniem gwiazdą. To z pewnością uniemożliwiło mu prowadzenie tego, co ostatecznie stało się Bob Crosby Orchestra.