Родился 7 марта 1928 года в Мариинске (ныне Кемеровская область). Через год его семья переехала в город Тайга. После окончания школы Чивилихин поступил в Тайгинский техникум паровозного хозяйства. Недолгое время проработал мастером в железнодорожном техникуме в Узловой.

Печатать свои работы начал с 1946 года. Переехал в Чернигов на Украину к старшей сестре по окончании Великой Отечественной войны. Сюда же переселилась вся семья Чивилихиных. В Чернигове произошла первая встреча юного Чивилихина с П. Д. Барановским, легендарным исследователем русской архитектуры и реставратором мирового значения. Барановский исследовал разрушенный после бомбёжки храм, оказавшийся редким памятником домонгольской эпохи (Пятницкая церковь начала XII века). Позже они встретятся в Москве и подружатся.