Родился 2 сентября 1926 года в Москве. В 1941 году поступил в Авиационный техникум им. Серго Орджоникидзе. Учась на третьем курсе техникума поступил на драматическое отделение Московской экспериментальной театральной студии, которой руководил Ростислав Захаров, известный балетмейстер Большого театра. Каждый день он пропадал в студии с 8 утра до часу ночи. Большое влияние на него оказал Андрей Александрович Гончаров, который, вернувшись с фронта, стал вести их курс. В 1947 году окончил студию и был принят в Московский театр Дзержинского района. С 1948 года выступал на сцене Театра им. К. С. Станиславского.

С 1968 года он играл на сцене театра имени В. В. Маяковского. В 70-х годах снялся в телевизионной рекламе рыбы нототении. В результате последовавшего за этим конфликта с Андреем Гончаровым был вынужден уйти из Театра им. Маяковского.
С 1974 года — актёр Театра имени Ленинского комсомола.

В кино актёр снимался с 1947 года. Добродушный внешний вид, улыбчивость и жизнерадостность наряду с ярким комедийным дарованием, обеспечили Леонову широкое признание с самых первых, ещё небольших ролей в театре (сыграл в том числе Лариосика в спектакле «Дни Турбиных») и кино. 

Особой любовью многих поколений зрителей пользовалась его работа по озвучиванию анимационных фильмов, прежде всего роли Винни-Пуха в серии мультипликационных лент 1969-1972 годов. Даже когда актёр играл не таких уж положительных персонажей, которые не были лишены трусости или склонности к мошенничеству и авантюризму («Дело Румянцева», 1956; «Полосатый рейс», 1961; «Гори, гори, моя звезда», 1970; «Совсем пропащий», 1973), его персонажи вызывали симпатию зрителей.

Незаурядный драматический талант актёра раскрылся впервые в роли казака Якова Шибалка в картине «Донская повесть» (1964). В 1960-е годы Леонов поразил мастерским и точно выдержанным по стилю исполнением роли царя-тирана Креонта в спектакле «Антигона», поставленном Б. А. Львовым-Анохиным. Привычные комедийные характеры Леонова наполняются трагикомическими красками, как в фильмах «Тридцать три» (1966), «Зигзаг удачи» (1969), «Карусель» (1970, телефильм, выход в кинопрокат 1977), «Женитьба» (1977), «Отпуск в сентябре» (1979, выпуск 1987).

Некоторые неоднозначные роли Леонова создаются с учётом ожиданий публики, но всё же вопреки им — как в фильмах «Афоня» (1975), «Осенний марафон» (1979, Государственная премия РСФСР, 1981), «Слёзы капали» (1982) и «Кин-дза-дза» (1986) Георгия Данелии, для которого актёр был своеобразным талисманом в течение почти двадцати лет. В свою очередь Марк Захаров, создавший вместе с Леоновым несколько неожиданных ролей в театре, предлагал ему в своих лентах играть на контрасте внешнего благодушия и внутренней ущербности («Обыкновенное чудо», 1978; «Дом, который построил Свифт», 1983; «Убить Дракона», 1988).

Трагикомизм образов Леонова в картине «Легенда о Тиле»(1977), телефильмах «Старший сын» (1975) и «О бедном гусаре замолвите слово» (1980) приобретает, по сути, подлинно драматическое и даже трагичное измерение. Вообще лишены комизма роли в лентах «Белорусский вокзал» (1971), «Премия» (1975, Государственная премия СССР, 1976), телефильме «И это всё о нем»(1978, премия Ленинского комсомола). В последние годы в театре Леонов создает серьёзные психологические работы (но не исключающие острохарактерных и трагикомических обертонов) в спектаклях Марка Захарова «Иванов», «Оптимистическая трагедия», «Поминальная молитва». В последнем из них роль Тевье, которую актёр продолжал играть даже после перенесённой операции на сердце, стала своеобразным завещанием мастера, призывавшего любить жизнь несмотря ни на что.
В 1982 году был избран общественным директором Центрального Дома актера имени А. А. Яблочкиной.
В 1988 году во время гастролей в Германии в результате обширного инфаркта пережил «клиническую смерть». Перенес экстренную операцию коронарного шунтирования. В коме находился 16 суток. Вернулся к актерской деятельности через 4 месяца.

Актёр ушёл из жизни 29 января 1994 года в своей московской квартире, когда собирался на вечерний спектакль. Похоронен на Новодевичьем кладбище в Москве (участок №10, ряд №8, место №5).