Filho de missionários japoneses. Ele tornou-se famoso em todo o mundo por sua atuação em clássicos do cinema japonês - sobretudo no papel de samurai em filmes de Akira Kurosawa, que o dirigiu dezesseis vezes - e em produções americanas.

Mifune trabalhou como fotógrafo em Xangai e serviu ao Exército do Japão durante a Segunda Guerra Mundial e em 1946 radicou-se no Japão.

Fez um pequeno papel em Shin Baka Jidai (1946; Tempos Loucos), de Kajiro Yamamoto e, em 1948, obteve sucesso de crítica e bilheteria como o gângster de Yoidore Tenshi (O Anjo Embriagado), de Kurosawa. Como o bandido de Rashomon (1951), obra do mesmo diretor que ganhou o Oscar de melhor filme estrangeiro em 1951, foi reconhecido internacionalmente.

Tornou-se popular graças aos papéis de samurai que representou sob a direção de Kurosawa, em filmes como Shichinin no samurai (1954; Os Sete Samurais) e Yojimbo (1960), pelo qual conquistou o prêmio de melhor ator no Festival de Veneza. Em 1964, estreou como diretor com Gojuman no Isan (O Legado dos Quinhentos Mil), empreendimento malsucedido. No ano seguinte, fez seu último filme com Kurosawa, Akahige (O Barba Ruiva), pelo qual foi novamente premiado em Veneza como melhor ator. Um desentendimento interrompeu a antiga parceria.

Com Kobayashi Masaki, outro grande cineasta japonês, fez Joi-uchi (1967; Rebelião). Entre as produções internacionais de que Mifune participou destacam-se Tora! Tora! Tora! (1969), de John Boorman, Grand Prix (1966) e Hell in The Pacific (1968; Inferno no Pacifico). O ator estrelou também Shogun (1980), de Jerry London, série americana para a televisão.

Fez ao todo 130 filmes e foi premiado por 60 deles.