Frazier a été le seul boxeur américain à gagner une médaille d'or aux Jeux Olympiques de Tokyo, en 1964, alors qu'il avait le pouce gauche blessé pendant la finale.
Le boxeur est surtout devenu légendaire pour avoir été le premier homme à battre Mohammed Ali au « Combat du siècle » qui a eu lieu à New-York, en 1971. Au 15e round, Frazier a réaliséle plus célèbre crochet du gauche de l'histoi