En 1963, Joseph notó los talentos musicales de sus hijos. Ese año, Jackie, Tito y Jermaine formaron The Jackson Brothers con Joseph como manager del grupo. Hacia 1965, se incorporaron los dos más jóvenes, Marlon y Michael. El grupo cambió su nombre a The Jackson 5 en 1966, y comenzó a ganar elogios en el circuito de R & B.
Joseph comenzó a hacer ensayos duros e intensos con sus hijos, y les logró un lugar en el famoso Teatro Apollo en Harlem, Nueva York. El grupo ganó un concurso nocturno amateur, y su victoria les valió un contrato discográfico con Motown. Los Jackson 5 tuvieron un éxito inmediato, convirtiéndose en el primer grupo estadounidense en tener sus primeros cuatro sencillos en el No. 1 en el Billboard Hot 100. Con el dinero, Joseph se mudó con su familia de Indiana a una mansión en Encino, California.
Joseph era disciplinario, y los informes de su naturaleza abusiva comenzaron a filtrarse en la prensa. En 1979, Michael Jackson despidió a su padre como su manager y tomó el control de su propia carrera. El resto de los hermanos harían lo mismo en 1983. Diez años más tarde, Michael habló contra su padre en el popular Show de Oprah Winfrey, detallando el abuso físico y mental que sufrió de sus manos durante toda su infancia, hecho que fue confirmado por unos y desmentido por otros hermanos. El 25 de junio de 2009, Michael Jackson murió repentinamente. Su padre, Joseph, no recibió nada de su patrimonio.
