Qualls cresceu em Manchester (Tennessee), sendo um de cinco filhos. Quando tinha 14 anos de idade, foi diagnosticado com linfoma de Hodgkin, uma espécie de câncer. Depois de dois anos de cirurgias (incluindo a remoção do baço), quimioterapia e radioterapia, seu câncer foi considerado curado, sendo sua saúde qualificada como estável. Ainda quando adolescente, foi para o Camp Horizon, onde virou um conselheiro trabalhando como voluntário, passando a ser uma distração para si mesmo. Desde então, ele tem lutado para o avanço nas pesquisas contra o câncer. Depois de se formar pela Coffee County Central High School, em 1992, estudou língua inglesa e literatura. Três anos depois, de volta ao Tennessee, trabalhou como paraprofissional, para depois, em 1997, iniciar o curso de teatro na Belmont University, de Nashville. Em uma peça local, foi descoberto por David LaChapelle e virou modelo para Prada e Calvin Klein.