Во время Великой Отечественной войны потерял и отца, и мать, а также был разлучен со своими братьями и сестрами. Воспитывался в детском доме в Вологодской области, которая навсегда осталась в его душе и нашла позднее выход в его стихотворчестве.
Первое свое стихотворение Николай написал, когда ему было 10 лет. С 16 лет Рубцов вел бродячую жизнь, выполнял разнообразные работы - был библиотекарем, кочегаром на тральщике «Архангельск», слесарем на Кировском заводе.
С 1962 года начал публиковать свои стихи и поступил в Литературный институт в Москве, из которого трижды его исключали за различные проступки. Он, как магнит, притягивал к себе неприятности. Его стихи ценили, но как человек, он часто ощущал свою ненужность.
Стихи Рубцова обращают на себя внимание своей самобытностью, близостью к просторечным выражениям, непосредственностью. Главной темой его стихов была деревня, русская природа и история.
В одном из своих стихотворений он пророчески написал:
Я умру в крещенские морозы,
Я умру, когда трещат березы.
В 1969 году Рубцов все же закончил Литературный институт и переехал в Вологду, где был принят в штат газеты «Вологодский комсомолец».
Николай Михайлович Рубцов погиб случайно в Вологде 19 января 1971 года, в Крещение.