Кара Караев родился 5 февраля 1918 года в Баку в семье известного врача-педиатра, знавшего и любившего народную музыку. После окончания начальной музыкальной школы обучался игре на фортепиано на рабфаке Бакинской консерватории (класс фортепиано Г.Г. Шароева) (1930—1935), с 1935 года учился в той же консерватории по классам композиции у Л.М. Рудольфа и основам народной музыки — у У. Гаджибекова. К этому времени относятся первые композиторские опыты Караева, в которых заметно сильное влияние азербайджанского народного искусства.

В 1937 году принял участие в фольклорной экспедиции, где изучал и записывал песни ашугов и мугамы. Через год поступил в Московскую консерваторию им. П.И. Чайковского, где совершенствовал мастерство у А.Н. Александрова (композиция) и С.Н. Василенко (инструментовка). Занятия были прерваны войной и возобновились в 1943 году. В 1946 году окончил Московскую консерваторию (класс композиции Д.Д. Шостаковича). Дипломной работой Караева стала Вторая симфония, в которой ярко проявился индивидуальный талант композитора.

С 1946 года преподавал в Бакинской консерватории (в 1949—1952 годах — ректор, с 1959 года — профессор). Среди учеников К. Караева[3] — его сын Фарадж, Ариф Мирзоев, Рауф Гаджиев, Ариф Меликов, Хаям Мирзазаде, Васиф Адигёзалов, Тофик Бакиханов, Франгиз Ализаде.

Композиторскую деятельность Караев совмещал с активным участием в музыкальной жизни Азербайджана: был художественным руководителем Бакинской филармонии (1941—1942), заведующим сектором музыки Института искусств АН Азербайджанской ССР (1948—1949).

В 1937 году стал членом Союза композиторов АзССР. С 1953 года — председатель, первый секретарь СК Азербайджанской ССР, с 1962 года — секретарь правления Союз композиторов СССР. Член Союза кинематографистов СССР (с 1957 года).

Член ВКП(б) с 1949 года. Член ЦК КП Азербайджской ССР (с 1960). Депутат ВС СССР 5-10 созывов и депутат ВС Азербайджанской ССР 4-го созыва. Академик АН Азербайджанской ССР (с 1959 года). Член президиума республиканского Комитета защиты мира.

Кара Караев умер 13 мая 1982 года в Москве, в расцвете своего творческого таланта. Похоронен на Аллее почётного захоронения в Баку.