Nascido em Rhinebeck, Nova York, Mazzello cresceu em Hyde Park, Nova York, filho de Ginnie e Joseph Mazzello Jr., que possui uma escola de artes. Joseph tem uma irmã mais velha, Maria Mazzello, e um irmão mais novo, John Mazzello, que já apareceu em alguns filmes. Mazzello foi aluno da Our Lady of Lourdes High School e da University of Southern California, onde se formou em 2005.

Seus papéis mais notáveis foram "Tim Murphy" no filme O Parque dos Dinossauros em 1993 e "Dexter" no filme de 1995, A Cura.

Joseph fez sua estreia na direção no filme Matters of Life and Death de 2007 no qual ele também estrelou, o elenco ainda inclui David Strathairn (com quem já trabalhou em O Rio Selvagem e Pequeno Milagre), Daniel Gillies e Rachael Leigh Cook. Mazzello ainda estrelou com David Strathairn no filme A Sensação de Ver e na próxima minissérie da HBO, The Pacific.