Filho de artistas circenses, James aprendeu a tocar caixa aos quatro anos e trompete aos oito; quando tinha doze anos, passou a reger uma das bandas do circo. Na juventude, tocou com várias orquestras, incluindo a de Ben Pollack, entre 1935 e 1936. Em dezembro desse ano, tornou-se membro da orquestra de Benny Goodman. Nessa orquestra, ele se juntou com os trompetistas Ziggy Elman e Chris Griffin para formar o powerhouse trio, um das sessões de trompete mais célebres da história do jazz. James era o solista principal e ascendeu à fama com seus solos em canções como Ridin' High, Sing, Sing, Sing e One o'Clock Jump. Ele também compôs e fez o arranjo de Life Goes to a Party, considerada um dos melhores números de suingue da orquestra de Goodman. O estilo de James era ousado e intenso, com um tom denso mesmo em registros extremos.