Agnaldo Rayol iniciou a carreira de cantor aos oito anos na Rádio Nacional do Rio de Janeiro, no programa Papel carbono, de Renato Murce, e aos doze anos estréia no cinema, no filme Também Somos Irmãos. Depois de morar algum tempo em Natal (Rio Grande do Norte), voltou em 1951 ao Rio de Janeiro e participou do filme Maior Que o Ódio. Foi obrigado a parar de cantar entre 1952 e 1954, por causa de mudanças hormonais próprias da adolescência, que afetaram a voz.

A partir do final dos anos 50 quando a voz potente de adulto se estabiliza, firma-se na carreira, levando adiante o estilo impostado e operístico comum aos cantores da geração anterior, como Vicente Celestino e Francisco Alves. Como exemplo dessa peculiar forma de cantar, a magistral interpretação da Ave Maria emocionou noivas de várias gerações, que não hesitavam em pagar o caro cachê para tê-lo cantando em cerimônias de casamento. Em 1956 foi contratado pela Rádio Tupi e dois anos depois gravou o primeiro disco pela gravadora Copacabana.

O auge da carreira acontece na década de 60, com programas próprios na TV Record, entre eles Agnaldo RayoI Show e Corte RayoI Show, ao lado do humorista Renato Corte Real, um sucesso sem precedentes. Foi uma das atrações da edição de estreia do programa Jovem Guarda. No cinema. protagonizou Agnaldo - Perigo à Vista em 1969 e, ainda como ator, esteve no elenco das telenovelas Mãe (1964), O Caminho das Estrelas (1965), A Última Testemunha(1968) e As Pupilas do Senhor Reitor (1970).

Nos anos 80, comandou por oito anos o grande sucesso Festa Baile, programa musical produzido pela TV Cultura de São Paulo. Em 1981, no Uruguai, ganhou o Festival Internacional da Canção, onde participaram cantores de todo o mundo. Agnaldo Rayol cantou também na Argentina, México, Estados Unidos, Portugal e Itália.

Sempre fiel ao repertório romântico, nos anos 90 faz sucesso interpretando canções italianas, língua que domina perfeitamente, por ser a mãe nascida na Itália. Duas entram para o repertório de telenovelas da Rede Globo e estouram nas paradas: Mia Gioconda na novela O Rei do Gado e Tormento d'Amore, tema de abertura da novela Terra Nostra gravada em Londres em dueto com a soprano Charlotte Church.

No dia 30 de abril de 2006 Agnaldo acabara de vir de um concerto e estava pronto para embarcar no aeroporto de Porto Alegre, quando tropeçou e caiu no chão, por osteoporose, fraturando o fêmur da perna direita. Levado para o Hospital Mãe de Deus na capital gaúcha, esteve internado por uma semana e comemorou ali o 68º aniversário, numa festa organizada pelas freiras que comandam o serviço de enfermagem do hospital.

No dia 11 de maio de 2007, cantou durante a missa de canonização de Frei Galvão pelo papa Bento XVI, na pista de aviação do Aeroporto Campo de Marte, no bairro de Santana, na capital de São Paulo, Brasil.