Ferrer nasceu em Santa Mônica, na Califórnia, o mais velho de cinco filhos do ator porto-riquenho José Ferrer, vencedor do Oscar, e da cantora americana Rosemary Clooney. Seus irmãos são Maria, Gabriel, Monsita e Rafael, também ator. Criado em Hollywood, durante sua adolescência seus interesses se focaram na música; inspirado por Ringo Starr, dos Beatles, aprendeu bateria, instrumento que tocou no álbum Two Sides of the Moon, de Keith Moon. Um amigo seu, o também ator Bill Mumy - que interpretou o personagem Will Robinson na série de televisão clássica Lost In Space (br: Perdidos no Espaço) -, companheiro de Ferrer na banda The Jenerators, o escalou para o papel de baterista na série Sunshine.

Ferrer iniciou sua carreira no início da década de 1980, fazendo participações especiais em episódios de séries de televisão. Em 1983, recebeu um papel pequeno como um garçom em The Man Who Wasn't There. Também teve um papel de pouco destaque em Star Trek III: The Search for Spock (Jornada nas Estrelas III: À Procura de Spock) , de 1984, como um dos oficiais da nave Excelsior. Teve um papel de destaque alguns anos depois, no filme RoboCop, de 1987, em que interpretou o executivo cocainômano Bob Morton. Desde então, Ferrer integrou o elenco de diversos filmes, geralmente no papel de vilões extravagantes com senso de humor. Entre os papéis de destaque estão o motoqueiro sinistro de Valentino Returns, de 1988, um engenheiro em DeepStar Six, de 1989, o comandante Arvid Harbinger na comédia Hot Shots! Part Deux (br: Top Gang 2), de 1993, Lloyd Henreid na minissérie The Stand, de 1994, e o repórter investigativo Richard Dees no filme The Night Flier, de 1997 (ambos de Stephen King), e o ex-traficante que virou informante Eduardo Ruiz no filme Traffic (2000).

No início da década de 1990 Ferrer apareceu simultaneamente em três séries de televisão exibidas em horário nobre (algo provavelmente inédito): como o promotor público Todd Spurrier em Shannon's Deal (1989–1991), como o policial cajun Beau Jack Bowman em Broken Badges (1990–1991), e como o especialista forense cínico e irônico Albert Rosenfield em Twin Peaks (1990–91). Ferrer voltou a interpretar Albert no filme Twin Peaks: Fire Walk with Me, de 1992. Também interpretou outro médico, Dr. Garret Macy, na série policial de televisão Crossing Jordan (2001–07).

Ferrer interpretou a voz do líder herege no videogame Halo 2, bem como Jack, protagonista do jogo BioShock. Em 1999, na 41ª edição dos Prêmios Grammy, foi indicado ao prêmio de "melhor álbum falado infantil" por seu trabalho no segmento "Simba's Pride Read-Along", em The Lion King II (br: Rei Leão 2), da Disney. Em 2003, Ferrer fez sua estreia nos palcos de teatro de Nova York, atuando numa produção off-Broadway da peça The Exonerated dirigida por Bob Balaban.

O ator também interpretou um supervilão com o nome de The Weatherman ("O Homem do Tempo") no episódio piloto de uma série fracassada de 1997, Justice League of America. No mesmo ano, dublou um personagem semelhante, Weather Wizard, no episódio "Speed Demons", da série de animação Superman: The Animated Series, bem como o personagem Aquaman em outro episódio da série, "A Fish Story". Também dublou personagens de outras séries de animação, como Robot Chicken (2006) e American Dad! (2007).

Como escritor, Ferrer trabalhou em diversas séries de histórias em quadrinhos, tais como Comet Man (que ele co-criou com seu companheiro de banda nos Jenerators, Bill Mumy, e o artista Kelley Jones), The Dreamweaver e Trypto the Acid Dog (lançada pela Dark Horse Comics).

Ferrer interpretou Jonas Bledsoe em Bionic Woman, versão de 2007 feita pela NBC da série clássica, e em 2009 participou de outra série na emissora, Kings.

Fez o papel do agente Owen Granger, na série NCIS: Los Angeles.

Entusiasta do golfe e do esqui, Ferrer organizava todo ano um campeonato beneficente de golfe dedicado ao Hospital Infantil da Universidade de Los Angeles. Também costumava se apresentar em casas noturnas com seu amigo Mumy e sua banda, The Jenerators.

Sua primeira esposa foi a atriz Leilani Sarelle, de quem é divorciado, e com quem teve dois filhos, Lukas e Rafael; posteriormente teve um filho, Jose Robert, com Kate Dornan, filha de Robert Kenneth "Bob" Dornan. Foi casado com Lori Weintraub desde 2005. Seu irmão, Gabriel Ferrer, é casado com a cantora Debby Boone, e ambos são pais da artista Gabi Ferrer e seu irmão gêmeo, Dustin Ferrer. Seu outro irmão, Rafael Ferrer, também é ator. Sua mãe era tia de George Clooney, e Ferrer foi um amigo íntimo da atriz Dominique Dunne, tendo carregado seu caixão durante seu funeral.
Morreu em 19 de janeiro de 2017, aos 61 anos, de câncer de garganta.

Irmãos: Rafael Ferrer, Gabriel Ferrer, Monsita Ferrer, Maria Ferrer, Leticia Thyra Ferrer, George Ferrer, Sarah Ferrer, Phyllis Ferrer, Callum Ferrer, Liza Ferrer
Cônjuge: Lori Weintraub (de 2005 a 2017), Leilani Sarelle (de 1991 a 2003)
Filhos: Lukas Ferrer, Jose Robert Dornan, Rafael Ferrer
Filiação: Rosemary Clooney, José Ferrer