Выпускник филологического факультета МГУ, русское отделение. Работал школьным учителем, экскурсоводом, рабочим сцены, ночным сторожем.
В 1970-е годы был одним из основателей и участников поэтической группы «Московское время» и группы «Задушевная беседа» (позднее — «Альманах»).
До второй половины 1980-х публиковался в эмигрантских изданиях, на родине — с конца 1980-х.
В 1991 году принят в Союз российских писателей.
В 1992−1993 годах на радио «Россия» был автором и ведущим цикла литературных передач «Поколение».
В течение 1995−1996 учебного года вёл в РГГУ семинар, посвящённый современной отечественной поэзии. В 2001−2004 гг. вёл мастер-класс в Институте журналистики и литературного творчества. В 2003 году стал членом Русского ПЕН-центра.
Был членом жюри премий «Русский Декамерон», «Дебют», премии им. Бориса Соколова, премии «Тамиздат», председателем жюри премии «Русский Букер».
Стихи Сергея Гандлевского переводились на английский, французский, немецкий, итальянский, голландский, венгерский, финский, польский, литовский, хорватский, сербский, болгарский, турецкий, грузинский, китайский и японский языки.
Проза: «Трепанация черепа» переведена на английский язык, «НРЗБ» — на немецкий, английский, итальянский.