Er war ein so guter Musiker, dass sein jüngerer Bruder Charlie (ein hervorragender Trompeter) immer im Schatten stand. Jack Teagarden begann im Alter von fünf Jahren mit dem Klavierspiel (seine Mutter Helen war Ragtime-Pianistin), wechselte dann zum Baritonhorn und begann schließlich im Alter von zehn Jahren mit der Posaune. Teagarden arbeitete im Südwesten in verschiedenen Territorialbands (vor allem mit dem legendären Pianisten Peck Kelley) und erregte dann Aufsehen, als er 1928 nach New York kam. Seine gewagten Soli mit Ben Pollack veranlassten Glenn Miller, sein eigenes Spiel in der Band zurückzustellen, und während der Ära der späten 20er Jahre und der frühen Depression nahm „Mr. T.“ häufig mit vielen Gruppen auf, darunter Gruppen unter der Leitung von Roger Wolfe Kahn, Eddie Condon, Red Nichols und Louis Armstrong („Knockin‘ a Jug“). Seine Versionen des „Basin Street Blues“ und des „Beale Street Blues“ (Songs, die für den Rest seiner Karriere in seinem Repertoire bleiben sollten) waren endgültig. Teagarden, der von Tommy Dorsey sehr bewundert wurde, wäre ein logischer Kandidat für den Ruhm in der Swing-Ära gewesen, aber er machte einen strategischen Fehler. Ende 1933, als es so aussah, als würde sich der Jazz kommerziell nie durchsetzen, unterzeichnete er einen Fünfjahresvertrag mit Paul Whiteman. Obwohl Teagarden hin und wieder in Whitemans Orchester auftrat (und 1936 für kurze Zeit mit einer kleinen Gruppe der Band, den Three T’s, zusammen mit seinem Bruder Charlie und Frankie Trumbauer spielte), hielt der Vertrag Teagarden davon ab, auf eigene Faust loszulegen und ein Star zu werden. Er hinderte ihn sicherlich daran, das zu leiten, was schließlich das Bob Crosby Orchestra werden sollte.