Byl tak vynikající hudebník, že mladšího bratra Charlieho (vynikajícího trumpetistu) vždy zastiňoval. Jack začal v pěti letech hrát na klavír (jeho matka Helen byla ragtimová pianistka), přešel na barytonový roh a nakonec se v deseti letech ujal trombónu. Teagarden působil na jihozápadě v různých kapelách (především s legendárním pianistou Peckem Kelleym) a poté způsobil senzaci, když v roce 1928 přišel do New Yorku. Jeho odvážná sóla s Benem Pollackem způsobila, že Glenn Miller přestal s kapelou zdůrazňovat svou vlastní hru, a v období konce dvacátých let a začátku krize „pan T.“ často nahrával s mnoha skupinami, včetně skupin vedených Rogerem Wolfem Kahnem, Eddiem Condonem, Redem Nicholsem a Louisem Armstrongem („Knockin‘ a Jug“). Jeho verze písní „Basin Street Blues“ a „Beale Street Blues“ (které zůstaly v jeho repertoáru po zbytek kariéry) byly definitivní. Teagarden, kterého velmi obdivoval Tommy Dorsey, by byl logickým kandidátem na slávu v éře swingu, ale udělal strategickou chybu. Koncem roku 1933, kdy se zdálo, že se jazz nikdy komerčně neprosadí, podepsal pětiletou smlouvu s Paulem Whitemanem. Ačkoli ve Whitemanově orchestru Teagarden čas od času vystupoval (a v roce 1936 krátce hrál s malou skupinou z kapely Three T’s se svým bratrem Charliem a Frankiem Trumbauerem), smlouva Teagardenovi fakticky zabránila, aby se vydal na vlastní dráhu a stal se hvězdou. Rozhodně mu zabránila v tom, aby vedl skupinu, která se nakonec stala Orchestrem Boba Crosbyho.