Considerado uno de los pilares del sonido de Memphis, hizo su legado duradero como miembro de la famosa sección Hi Rhythm, proporcionando el ritmo para álbumes clásicos de Al Green -en la foto con él- y Ann Peebles, entre otros.
En 1959, a instancias del cantante Rufus Thomas, Grimes acudió a un antiguo cine reformado en el sur de Memphis para su primera sesión de grabación. La sesión, una cita con Rufus y Carla Thomas en la canción Cause I Love You, sería la base de Satellite Records, que pronto se llamaría Stax. Grimes se convertiría en una figura clave en los primeros años del sello, uno de sus primeros músicos negros, junto con Floyd Newman y un adolescente Booker T. Jones. Su participación incluiría los primeros 10 álbumes de Al Green, incluidos clásicos como Let’s Stay Together, I’m Still in Love with You y Call Me bajo el prestigioso Hi Records, pero también en la discografía Ann Peebles– en I can´t stand the rain o I’m Gonna Tear Your Playhouse Down – o el también recientemente fallecido Syl Johnson. Algunos de sus ritmos han sidos sampleados numerosas veces en el hip hop, como I´m glad you´re mine de Al Green.
