Родился в семье трактирщика. Окончил сельскую школу в Бородино, учился в реальном училище в Можайске. В конце 1917 г. Жаров с товарищами организует кружок по культурно-просветительной работе. С 1918 — секретарь комсомольской ячейки. В 1918—1925 Жаров — на руководящей комсомольской работе, сначала в Можайске, затем в Москве, в ЦК РКСМ. В 1920 вступил в партию. В 1921 учился на факультете общественных наук МГУ. В октябре 1922 — один из основателей объединения комсомольских писателей «Молодая гвардия». Во время войны — корреспондент журнала «Краснофлотец».

Поэзия Жарова была широко известна в молодёжной среде 1920-40-х гг. О его поэме «Гармонь», исключительно популярной в своё время, Михаил Светлов в конце жизни писал:

И пусть они обнимутся, как сёстры, —

Моя «Гренада» и твоя «Гармонь».

Однако, найдя себя впоследствии как поэт-песенник, А.А. Жаров оставил яркий след в истории советской массовой песни 1930-х - 1950-х гг. как автор произведений: "Песня былых походов" (муз. З. Компанейца), «Заветный камень» (муз. Б. Мокроусова), «Грустные ивы» (муз. М. Блантера), "Ходили мы походами" (муз. К. Листова), "Мы за мир" (муз. С. Туликова) и многих других. Ещё раньше, в 1920-е гг., огромную популярность получила написанная на слова его раннего стихотворения песня «Взвейтесь кострами» (муз. С. Кайдана-Дёшкина).