Родился в Новгороде-Северском в семье Александра Ивановича Терентьева, тракториста, и Валентины Леонидовны Терентьевой, медсестры.
После смерти отца в 1950 году семья Терентьевых переехала в Чернигов. В Чернигове поэт окончил школу и промышленный техникум, получив профессию токаря.
В 1963 году поступает на филологический факультет в Киевский педагогический институт имени А. М. Горького. В пединституте Терентьев знакомится с Майей Виноградовой, общение и дружба с которой продлятся до конца жизни поэта.
В 1970-х годах живёт в Москве, Киеве и Ленинграде, нигде не публикуясь и не принимая участия в литературной жизни.
На протяжении многих лет Терентьев злоупотребляет алкоголем, что находит широкое отражение в его творчестве.
Погиб 6 декабря 1983 года во время одиночного похода в горы Копетдага от заражения крови. Похоронен на Ватутинском кладбище в Ашхабаде.