Nelson nasceu em Nova York, filho do Dr. Stanley Nelson e A’lelia Ransom Nelson, e irmão de Lynn, Jill e Ralph. Sua irmã Jill Nelson é uma proeminente escritora e novelista afro-americana. Nelson cursou a New Lincoln School, uma escola particular de Manhattan desde a pré-escola até o ensino médio. Ele se fromou na Leonard Davis Film School em Nova York, com um bacharelado em artes plásticas, em 1976.