Jones é o terceiro, atrás apenas de Beyoncé e Jay-Z, por ter o maior número de indicações ao prêmio Grammy de todos os tempos — 80 contra 88 deles cada — e é o terceiro vencedor mais condecorado do prêmio, com 28.

Jones nasceu em Chicago em 1933. Sua introdução à música veio através das paredes de sua casa de infância, de um piano tocado por um vizinho, que ele começou a aprender aos sete anos, e através do canto de sua mãe.

Seus pais se divorciaram e ele se mudou com seu pai para o estado de Washington, onde aprendeu bateria e uma série de instrumentos de sopro em sua banda do ensino médio. Aos 14, ele começou a tocar em uma banda com Ray Charles, de 16 anos, em clubes de Seattle, em 1948. Ele estudou música na Universidade de Seattle, transferindo-se para o leste para continuar em Boston, e então se mudou para Nova York após ser recontratado pelo líder de banda de jazz Lionel Hampton, com quem ele havia feito turnês quando estava no ensino médio.

Em Nova York, um dos primeiros shows foi tocando trompete na banda de Elvis Presley em suas primeiras aparições na TV, e ele conheceu as estrelas do florescente movimento bebop, incluindo Charlie Parker e Miles Davis. (Anos depois, em 1991, Jones conduziu a última apresentação de Davis, dois meses antes de sua morte.)

Seu trabalho com Sinatra começou em 1958, quando ele foi contratado para conduzir e arranjar para Sinatra e sua banda por Grace Kelly, princesa consorte de Mônaco, para um evento de caridade. Jones e Sinatra continuaram trabalhando em projetos até o álbum final de Sinatra, LA Is My Lady, em 1984. A carreira musical solo de Jones decolou no final dos anos 1950, gravando álbuns sob seu próprio nome como líder de banda para conjuntos de jazz que incluíam luminares como Charles Mingus , Art Pepper e Freddie Hubbard.