Na adolescência, Anderson arrumou emprego como assistente de vendas em uma loja de departamentos em Blackpool, e depois como atendente em uma banca de jornal. Ele declararia mais tarde que foi lendo edições da Melody Maker e da New Musical Express durante seus intervalos de almoço que lhe rendeu a inspiração de fazer parte de uma banda.

Em 1963, ele formou o The Blades com seus amigos de escola Barriemore Barlow (bateria), John Evan (teclado), Jeffrey Hammond (baixo) e Michael Stephens (guitarra). Este era um grupo de soul e blues, com Anderson nos vocais e gaita.

Em 1965, a banda se transformou em John Evan Smash, comportando mais integrantes. Se separou após dois anos, época em que Andersou mudou-se para Luton. Ali, conheceu o baterista Clive Bunker e o guitarrista e vocalista Mick Abrahams, do grupo de blues McGregor's Engine. Juntamente com Glenn Cornick, baixista que conhecera por intermédio de John Evan, ele formou a primeira encarnação de uma banda que permaneceria por mais de quatro décadas: o Jethro Tull.

Já então Anderson abandonara sua pretensão de tocar guitarra elétrica, supostamente por sentir que nunca seria "tão bom quanto Eric Clapton". Como relatado pelo próprio na introdução do vídeo Live at the Isle of Wight, ele trocou sua guitarra por uma flauta, e após algumas semanas de prática concluiu que poderia manejar o instrumento bem, principalmente em estilos como o rock e o blues. Sua experiência na guitarra não foi desperdiçada, no entanto, pois ele continuou a tocar violão, utilizando-o como instrumento tanto melódico quanto rítmico. Com o progredir de sua carreira, Anderson foi adicionando saxofone, bandolim, teclado e outros instrumentos à seu arsenal.

Como flautista, Anderson é autodidata. Sua principal influência foi Roland Kirk.

De 1970 a 1974, Anderson foi casado com Jennie Franks, uma fotógrafa creditada por ter escrito grande parte dos versos da canção "Aqualung". Anderson casou-se com Shona Learoyd em 1976, descrita pela revista Rolling Stone como a "a filha bela e educada em convento de um rico fabricante de lã".O casal teve dois filhos, James Anderson, também musicista, e Gael, que trabalha na indústria cinematográfica e é casada com o ator Andrew Lincoln.

Ian é sobrevivente de uma trombose venosa profunda, e participou de várias campanhas de utilidade pública em prol da sensibilização da doença.

Fora da indústria musical, Anderson é um bem-sucedido empresário, dono de diversas fazendas de salmão. De acordo com o jornal Sunday Herald , em 2004 seu grupo de empresas estaria avaliado em mais de 1,8 milhão de libras.