Tenía 84 años. Su regreso a la música se convirtió en una de las grandes historias del jazz, una figura desaparecida que reapareció repentinamente en la escena después de 35 años.
Grimes se mudó de Filadelfia a la ciudad de Nueva York a principios de los años 50, estudió en Juilliard y comenzó a tocar el contrabajo con los principales músicos de jazz. Trabajó con Anita O’Day y Sonny Rollins en 1957 y fue miembro del cuarteto Gerry Mulligan en 1957-1958, consagrándose en el Festival de Newport de 1958. En 1961 se convirtió en un importante contribuyente al free jazz, trabajando con Cecil Taylor, además de tocar regularmente con Perry Robinson, Sonny Rollins, Albert Ayler y Don Cherry.
A finales de los años 60, sin embargo, se encontró en quiebra en Los Ángeles tras romperse su instrumento y desapareció por completo de la escena musical en 1970. Muchos pensaron que había muerto, pero a principios de la década de 2000, le encontraron viviendo en Los Ángeles, en una habitación alquilada haciendo trabajos ocasionales para llegar a fin de mes. William Parker le dio un nuevo bajo, y resurgió, tocando en espectáculos en Los Ángeles y regresando triunfante a Nueva York para el Vision Festival de 2003. Grimes incluso hizo su debut profesional con un segundo instrumento (el violín) a la edad de 70 años junto a Cecil Taylor en el Lincoln Center. Entre su regreso en 2003 y 2016, Grimes hizo 640 conciertos en 30 países. En 2016 recibió el Lifetime Achievement Award en el Vision Festival.
