Harold Johnson nació el 9 de agosto de 1928 en Manayunk, Pensilvania, y aunque su padre Phil había sido boxeador profesional, el no aprendió a boxear en casa, sino en la marina.
Se convirtió en profesional en 1946 y logró una seguidilla de 24 triunfos consecutivos, hasta que Archie Moore lo derrotó por puntos en 1949. Ese mismo año logró importantes triunfos sobre Henry Hall y Jimmy Bivins, pero luego fue noqueado por Jersey Joe Walcott.
Johnson siguió derrotando a boxeadores clasificados y en 1954 obtuvo su primera oportunidad titular, ante Moore, en la quinta pelea entre ambos y fue derrotado.
El 7 de febrero de 1961 conquistó la faja semipesada de la NBA superando a Jesse Bowdry, la cual defendió exitosamente ante ante Von Clay y Eddie Cotton, para luego derrotar a Doug Jones y alcanzar el cetro mundial indiscutible.
Harold Johnson se mantuvo combatiendo hasta 1971, cuando colgó definitivamente los guantes, dejando registro de 76-11, con 32 KOs.