Pellegrino esteve em Família Soprano entre 1999 e 2004, com destaque para o arco em que Adriana La Cerva (Drea de Matteo) usava uma escuta para delatar seu parceiro, Christopher Moltisanti (Michael Imperioli).
Além da série, o ator participou de outras produções com temas envolvendo a Máfia, como o filme Os Bons Companheiros, de Martin Scorcese e a série Law & Order: Criminal Intent.
O ator também era famoso por ser dono do restaurante Rao’s, localizado no bairro do Harlem, em Nova York. O local já foi cenário para O Lobo de Wall Street, Law & Order e Top Chef.
Morreu aos 72 anos depois de batalhar contra um câncer no pulmão.

Filho: Frank Pellegino Jr.