Casey ficou famoso por atuar em mais de 80 filmes, incluindo o clássico dos anos 80 A Vingança dos Nerds, de 1984, em que ele viveu o líder da fraternidade Lambda Lambda Lambda, U.N. Jefferson. Ele também interpretou o agente da CIA Felix Leiter em 007 - Nunca Mais Outra Vez, dividindo a cena com Sean Connery em 1983.

O ex-esportista chegou a dirigir e escrever o roteiro de The Dinner, em 1997, um filme em que três homens discutem temas como racismo, escravidão e homofobia. Nos anos 60, Casey também jogou futebol americano profissionalmente, atuando nos times San Francisco 49ers e Los Angeles Rams.