Nació en la ciudad de Colón el 5 de julio de 1902, y en 1923 se trasladó a la ciudad de Nueva York para probar suerte en el mundo del boxeo profesional.
Se convirtió en campeón mundial del peso gallo, al derrotar por puntos al español Vidal Gregorio el 18 de junio de 1929. La pelea se realizó en el Queensboro de Long Island ante más de quince mil espectadores.
Es reconocido como el primer campeón mundial de boxeo nacido en un país de América Latina.
Durante los siguientes seis años, Brown se ratificó como un verdadero e indiscutible campeón, al defender su corona en Nueva York, París, Montreal, Marsella, Toronto, Milán, Londres y Túnez, además de realizar combates no titulares en muchas otras ciudades alrededor del mundo.
Fue, en su mejor momento, una celebridad que ganó mucho dinero, pero murió en la inopia. Perdió la corona el 1 de junio de 1935, al caer por puntos en 15 asaltos en Valencia, España ante Baltazar Sangchilli y se retiró del boxeo en 1942.
Murió el 11 de abril de 1951. Dejó récord de 135-19-13, con 61 KOs.
