Se unió a Yes en 1972 como reemplazo del baterista original, Bill Bruford. Tras la muerte del bajista Chris Squire en 2015, White era en el miembro más antiguo de la banda.
Squire y Jon Anderson compartían admiración por los grupos vocales, y junto a Peter Banks, Bill Bruford y Tony Kaye formaron la banda de rock progresivo y sinfónico Yes, publicando su primer álbum homónimo en 1969. El disco tuvo generosas críticas pero nada de éxito. Ese mismo añohite se unió a la Plastic Ono Band de John Lennon & Yoko Ono después de que Lennon lo invitara a tocar en el festival Toronto Rock and Roll Revival seguido de un espectáculo en el Lyceum Ballroom. En particular, tocó la batería en los sencillos Instant Karma! e Imagine, así como en ocho pistas del álbum Imagine de Lennon.
El éxito le empezó a llegar a Yes con The Yes Album (1971), que incluía Your Move y siguieron Fragile (1971)- ya con el famoso logotipo del grupo- Close to the Edge (1972)- ya sin Bruford, que se fue a King Crimson, momento en el que entró White– Tales of Topographic Oceans (1973), Relayer (1974) y Going For the One (1977).
Entre 1971 y 1980, Yes tuvo 8 top 10 en las listas inglesas, con dos números uno. En marzo de 1981, sin embargo, la banda se separó. White y Squire junto a Jimmy Page formaron una banda llamada XYZ que nunca llegó a publicar nada. La formación regresó en 1983 con 90125, álbum que incluía el único top 10 de la formación en America, Owner of a Lonely Heart, con Jon Anderson y el teclista original, Tony Kaye, que había dejado también la formación en 1971. La formación permanece en activo: su último álbum ha sido Heaven and Earth (2014). White ha actuado en más de 50 álbumes de otros artistas, en particular George Harrison,, Terry Reid, Joe Cocker y The Ventures.
