Родился в селе Плахино (ныне — Захаровский район Рязанской области), 1 [13] апреля 1883 года в крестьянской семье.

В 1891 году Александров переехал в Санкт-Петербург, где пел в хоре Казанского собора, а с 1897 года — ученик Придворной певческой капеллы, по окончании которой в 1900 году получил звание регента. Через некоторое время поступил в Санкт-Петербургскую консерваторию. Однако в 1902 году вследствие болезни и тяжелого материального положения А. В. Александров был вынужден прервать учебу и уехать в Бологое, где работал регентом соборного хора, а также педагогом по хоровому искусству в железнодорожном и техническом училищах. С 1906 года А. В. Александров работал в Твери, где работал хормейстером, организовал и возглавил музыкальную школу. Написал в это время симфонию и симф. поэму «Смерть и жизнь».. В 1909 году решил продолжить свою учёбу в Московской консерватории, которую закончил в 1913 году по классу композиции, а в 1916 году — по классу пения.

В 1918 году Александров был приглашён в Московскую консерваторию, (с 1922 года - профессор), в роли преподавателя. С 1918 по 1922 годы работал регентом Храма Христа Спасителя. С 1925 по 1929 - декан и заведующий хоровой кафедрой педагогического факультета, в 1929—36 - зам. декана военно-дирижерского факультета. В 1919—30 - преподаватель композиции и хорового пения в музыкальном техникуме имени Скрябина, одновременно — хормейстер Камерного театра (1922—28), консультант МАМТ имени Станиславского и Вл. И. Немировича-Данченко и дирижер Московской академической хоровой капеллы (1928—1930).

Совместно с Ф. Н. Даниловичем и П. И. Ильиным в 1928 году организовал Ансамбль красноармейской песни и пляски, с которым объехал практически весь Советский Союз и ряд зарубежных стран, завоевал Гран-При на Всемирной выставке в Париже в 1937 году.

Во время Великой Отечественной войны создал известные песни «Священная война», «В поход! В поход!», «Несокрушимая и легендарная» и др.

В 1943 году Сталин решил, что страна должна иметь свой государственный гимн, песню, которая объединяла бы весь народ, вдохновляя его на борьбу с гитлеровскими захватчиками. Александров на основе своего «Гимна партии большевиков» создал величественную мелодию, которая с 1944 года официально стала гимном СССР. Слова были написаны Г. А. Эль-Регистаном и С. В. Михалковым, частично отредактированы самим И.В. Сталиным. Эта же мелодия с 2000 года является Гимном России.

Умер Александр Васильевич 8 июля 1946 года в Берлине, во время европейского турне Краснознамённого ансамбля. Похоронен на Новодевичье кладбище (участок № 3).