Famoso por su fuerte derecha y su fino jab de izquierda, Joe Brown nació en New Orleans el 18 de mayo de 1926, y sirvió en la marina de su país durante la segunda guerra mundial.
Había debutado como profesional en 1943, pero sus compromisos frente a la guerra lo alejaron del ring hasta que reasumió su carrera en 1946. No tuvo un despegue muy brillante. En sus primeras 13 peleas solo ganó siete, empató dos y perdió cuatro, incluyendo un nocaut ante Sandy Saddler en 1947.
A inicios de los años cincuenta su carrera se desarrollaba entre victorias y derrotas, pero desde que empezó a entrenar con Bill Gore, todo pareció cambiar. Entre 1954 y 1955 hizo campaña en Panamá, ganando los seis combates que realizó, todos en la ciudad de Colón.
El 24 de agosto de 1956, en choque de revancha, derrotó a Wallace «Bud» Smith y se consagró como campeón mundial del peso ligero, corona que defendió con éxito frente al propio Smith y ante hombres de la talla de Orlando Zulueta, Joey Lopes, Ralph Dupas, Kenny Lane y Dave Charnley, entre otros, hasta perderla a manos del boricua Carlos Ortíz en 1962.
Continuó combatiendo hasta 1970, convertido en un verdadero trotamundos. Incluso volvió a Panamá en 1964 para derrotar a Esteban Santamaría. Peleó en Estados Unidos, Europa, Africa y América Latina, pero nunca volvió a recibir una oportunidad titular. Al retirarse, dejó tras de sí una récord de 104 victorias (47 de ellas por KO), con 44 derrotas y 13 empates. Joe Brown murió el 21 de noviembre de 1997.