Николай Михайлович Рубцов родился 3 января 1936 года в селе Емецк Архангельской области.
В 1940 году вместе с семьёй переехал в Вологду, где Рубцовых застала война. Отец, Михаил Андреянович Рубцов (1900—1963), ушёл на фронт и, как считали дети, погиб уже в 1941 (на самом деле отец бросил семью и жил отдельно в Вологде после войны). В 1942 умерла мать, и Николая направили в Никольский детский дом Тотемского района Вологодской области, где он окончил семь классов школы.

С 1950 по 1952 годы Рубцов учился в Тотемском лесотехническом техникуме. Затем с 1952 по 1953 г.г. работал кочегаром в архангельском траловом флоте треста «Севрыба», с 1953 по 1955 г.г. учился в горно-химическом техникуме Минхимпрома в Кировске Мурманской области.
С марта 1955 года Рубцов был разнорабочим на опытном военном полигоне в Ленинграде. С октября 1955 по 1959 г.г. проходил армейскую службу на Северном флоте.
После демобилизации жил в Ленинграде, работая попеременно слесарем, кочегаром и шихтовщиком на Кировском заводе. В это время начались занятия в литобъединении «Нарвская застава». В июле 1962 года вышел первый сборник стихов «Волны и скалы».
В августе 1962 года Рубцов поступил в Литературный институт имени Горького в Москве, который закончил в 1969 году.
19 января 1971 года Рубцов погиб в случайной семейной ссоре.
Поэтическое творчество Рубцово привлекло многих профессиональных и самодеятельных композиторов.