Михаил Павлович Рыба родился 16 февраля 1923 года в Варшаве в семействе музыкантов.
Окончил московскую консерваторию. В военные годы, будучи студентом консерватории, активно участвовал во фронтовых концертах. М.Рыба обладал редким певческим голосом - бассо-профундо, за пределами Союза был известен как "советский Поль Робсон".

Карьера Михаила Рыба связана с Большим театром, Всесоюзным радио и Московской Государственной Филармонией. Михаил Павлович создатель и исполнитель многих уникальных программ. Так, им впервые в Союзе были исполнены вокальные циклы Равеля "Три серенады Дон Кихота к Дульсинее" и Бетховена "Героические оды" на стихи Геллерта. Многие переводы стихов в вокальных циклах сделаны им самим.
Его творчество высоко ценили советские композиторы Шостакович, Покрасс, Хренников, Кабалевский, Вайнберг, Мурадели, Денисов и другие. Именно ему они многократно доверяли первые исполнения своих произведений. Выдающимся успехом певца явилось первое исполнение специально для него написанного Д.Шостаковичем вокального цикла на стихи Е.Долматовского в Малом зале консерватории, где ему аккомпанировал сам автор - Дмитрий Дмитриевич Шостакович.
Широкому слушателю голос певца известен по звучанию в фильмах "Последний дюйм", "Карнавальная ночь", "Тихий Дон", "Морская соль", мультфильмах "Мойдодыр", "Самый, самый, самый, самый...".
Умер певец 21 октября 1983 года в Москве.