Filho de Desolina Christoni e de Antônio de Toledo, ferroviário, Ary Toledo nasceu em Martinópolis, no estado de São Paulo, mas foi criado em Ourinhos, onde seu avô materno, o imigrante italiano Giusto Cristoni, era cidadão influente. Mudou-se para São Paulo aos 22 anos, quando começou a atuar como ator no Teatro de Arena. Cinco anos mais tarde, ingressou na carreira humorística, onde permanece até os dias atuais.
Cantor de estilo satírico, passou a apresentar shows, em que conta inúmeras anedotas. Antes da chegada da internet, Ary chegou a compilar mais de 90 mil piadas que contava em shows, discos, programas de TV e livros. Torcedor do Corinthians, muitas das frases de português atrapalhado atribuídas ao folclórico presidente do clube paulista Vicente Mateus, foram criadas, adaptadas e popularizadas por Ary Toledo.
Em pleno período militar, disse em uma de suas apresentações: "Quem não tem cão, caça com gato e quem não tem gato, cassa com ato" referindo-se ao Ato Institucional V. Imediatamente, foi preso e logo liberado, devido ao grande carisma que tinha (inclusive junto a seus opressores). Ary Toledo é considerado um dos maiores humoristas brasileiros de todos os tempos.
Foi casado por mais de 40 anos com a atriz, diretora de teatro, crítica musical, jurada musical Marly Marley, conhecida jurada do Programa Raul Gil, morta em 2014.
Considera-se que seu início para a vida artística deve-se à mãe que, aos 12 anos, deu-lhe de presente uma gaita de boca. Posteriormente, Ary Toledo foi aluno de Jamil Neder, que lhe ministrou aulas de violão. Jamil, que também foi mestre de Vânia Bastos, é pai do professor e músico Hermelino Neder. Aos 22 anos, mudou-se para São Paulo, onde começou a carreira como ator no Teatro de Arena. Sua primeira canção foi composta no início dos anos 60, e a primeira gravação musical em disco ocorreu em 1965, com "Tiradentes", composição com a qual fez grande sucesso à época. Participante assíduo de programas musicais de televisão, projetou-se como cantor com a canção "Pau de Arara", composta por Vinicius de Moraes e Carlos Lyra. "Pau de Arara", que era parte da trilha musical de uma peça de teatro, conta, de uma forma bem humorada, as mazelas da dura vida de um retirante nordestino. O protagonista, para sobreviver, fazia shows em praça pública onde comia lâminas-de-barbear, cacos de vidro etc. A música unia humor e crítica às desigualdades sociais, associadas à migração de nordestinos para outras regiões.
Escreveu e atuou ainda em várias peças, tendo trabalhado com Gianfrancesco Guarnieri e Augusto Boal. Seu principal parceiro na composição de músicas é Chico de Assis.
Tendo conhecido Vinícius de Moraes e Elis Regina, foi aconselhado por estes a seguir a carreira de humorista. Mais tarde tornou-se humorista e piadista, onde permanece até os dias atuais, sendo muito identificado por suas piadas de conteúdo obsceno.
Em um relato pessoal, Ary Toledo diz que o humor é um dom que lhe acompanha desde a infância: "Aos nove anos, estava jogando bola-de-gude, com meus amigos, quando o padre Arnaldo chegou e, vendo que estávamos numa rua de terra, com poeira, ele perguntou onde era o correio. Eu expliquei a ele e depois ele, sutilmente, sugeriu que nós saíssemos da rua, cheia de pó e fôssemos à Igreja para que nos ensinasse o caminho de Deus. Disse a ele que não ia coisa nenhuma, pois se ele não sabia o caminho do correio, como podia saber o caminho do correio, como podia saber o caminho de Deus? Ele achou graça e disse que eu era muito espirituoso. Na época, eu não sabia que estava fazendo humor, afirmou Ary certa vez em uma entrevista.

Cônjuge: Marly Marley (de 1968 a 2014)