Ő olyan kiváló zenész volt, hogy öccse, Charlie (egy kiváló trombitás) mindig háttérbe szorult. Jack ötévesen kezdett zongorázni (édesanyja, Helen ragtime-zongorista volt), majd bariton kürtre váltott, végül tízévesen harsonázni kezdett. Teagarden a délnyugaton dolgozott különböző territoriális zenekarokban (leginkább a legendás zongoristával, Peck Kelleyvel), majd szenzációt okozott, amikor 1928-ban New Yorkba jött. Merész szólói Ben Pollackkal arra késztették Glenn Millert, hogy saját játékát visszavegye a zenekarban, és a húszas évek végén és a gazdasági válság korai időszakában “Mr. T.” gyakran készített felvételeket számos együttessel, többek között Roger Wolfe Kahn, Eddie Condon, Red Nichols és Louis Armstrong (“Knockin’ a Jug”) vezetésével. A “Basin Street Blues” és a “Beale Street Blues” (ezek a dalok pályafutása hátralévő részében repertoárjában maradtak) változatai meghatározóak voltak. Teagarden, akit Tommy Dorsey nagyra becsült, logikus jelölt lett volna a hírnévre a swing-korszakban, de elkövetett egy stratégiai hibát. 1933 végén, amikor úgy tűnt, hogy a jazz kereskedelmi szempontból soha nem fog befutni, ötéves szerződést kötött Paul Whitemannel. Bár Whiteman zenekarában Teagarden néha-néha fellépett (és 1936-ban volt egy rövid időszaka, amikor a bátyjával, Charlie-val és Frankie Trumbauerrel együtt játszott a zenekar egy kis csapatában, a Three T’s-ben), a szerződés gyakorlatilag megakadályozta, hogy Teagarden önállóan induljon és sztárrá váljon. Minden bizonnyal megakadályozta őt abban, hogy vezesse azt, amiből végül a Bob Crosby Orchestra lett.