Окончил факультет прикладной математики и процессов управления Ленинградского государственного университета (ныне Санкт-Петербургский государственный университет). Во время учебы в ЛГУ он в июле 1972 года вместе со своим школьным приятелем Анатолием Гуницким основал группу «Аквариум».
За время творческой деятельности Гребенщиков выпустил более 30 альбомов в составе «Аквариума», записывал сольные пластинки и участвовал в проектах друзей-музыкантов. Музыка Гребенщикова звучит в таких фильмах, как «Асса» (1987), «Город» (1989), «Дом под звездным небом» (1991), «Азазель» (2002) и многих других.
Гребенщиков был награжден орденом «За заслуги перед Отечеством» IV степени (2003), является лауреатом премии «Триумф» (1998), Царскосельской художественной премии (2002), премии «Своя колея» имени Владимира Высоцкого (2004). В 2009 году Гребенщиков получил премию «Степной волк» за одну из книг из серии «Аэростат». В 2012 году музыкант стал обладателем премии журнала «Русский пионер» в номинации «Стихи XXI века. Поэзия эпохи www».