Fue miembro de la banda entre 1972 y 1975 y, posteriormente, entre 1987 y 1996.
A él (foto último derecha) se le atribuye la coescritura del himno característico del grupo, Sweet Home Alabama -su voz es la que cuenta “one, two, three” en la canción-, así como la coescritura de canciones como Saturday Night Special, Mr. Banker y Poison Whiskey.
Se unió a la banda en 1972, reemplazando al bajista Leon Wilkeson y tocó en los primeros tres álbumes del grupo, el debut de 1973, Pronounced ‘Lĕh-‘nérd ‘Skin-‘nérd, Second Helping de 1974 y Nuthin ‘Fancy de 1975. Pasó a la guitarra cuando Wilkeson se reincorporó a la banda y abandonó en 1976, siendo reemplazado por Steve Gaines.
Cuando la banda se reformó en 1987, King se unió a la misma acompañado por el guitarrista Gary Rossington, el batería Artimus Pyle, el teclista Billy Powell y el bajista Leon Wilkeson, con el hermano menor de Ronnie Van Zant, Johnny, como cantante principal. King se vio obligado a abandonar la banda en 1996 debido a complicaciones de insuficiencia cardíaca, por lo que se sometió a un trasplante de corazón en 2011. Fue incluido en el Salón de la Fama del Rock and Roll junto con los demás miembros en 2011.