Uno de sus principales vocalistas y compositores desde 1965 hasta 1971.
The Matrix fue el club con sede en San Francisco donde tocaron gente como Grateful Dead y Janis Joplin, un salón de baile que Balin ayudó a dirigir y en el cual se forjó el llamado «San Francisco Sound». Jefferson Airplane pasó por algunos cambios antes de aterrizar en la alineación clásica de Balin, Paul Kantner, Jorma Kaukonen, el bajista Jack Casady, la vocalista Grace Slick y la batería Spencer Dryden. Su producción disminuyó después de Surrealistic Pillow (1967), aunque perduraron sus contribuciones, más orientadas al pop, como Comin ‘Back to Me, Today o Volunteers. En diciembre de 1969, Balin fue dejado inconsciente por los Angeles del Infierno mientras actuaba durante el infame concierto gratuito de Altamont, como se vio en la película documental de 1970 Gimme Shelter. En abril de 1971, abandonó formalmente Jefferson Airplane después de interrumpir toda comunicación con sus compañeros de banda después de su gira estadounidense en otoño de 1970. Explicó esta decisión en una entrevista en 1993: «No lo sé, solo la muerte de Janis me llamó la atención. Eran los tiempos oscuros. Todo el mundo estaba consumiendo tantas drogas y ni siquiera pude hablar con la banda (…) Había dejado de beber y estaba en una fase totalmente diferente, alimentos saludables y volver a las calles, trabajando con los indios americanos. Me resultaba extraño (…). Así que después de Janis murió, pensé, no voy a subir al escenario y tocar ese tipo de música, no me gusta la cocaína».
A mediados de la década de 1970, cuando Airplane se reagrupó en Jefferson Starship, Balin cantó en éxitos como Miracles (que él co-escribió), With Your Love y Count On Me. Más tarde tuvo éxitos en solitario con Hearts y Atlanta Lady.Sin embargo, la relación de Balin con la banda empeoró, tanto por problemas de alcohol de Slick y su propia reticencia hacia las presentaciones en vivo y abandonó el grupo en octubre de 1978, poco después de la salida de Slick de la banda.