Иван Васильевич Ершов родился 20 (8) ноября 1867 года на хуторе Малый Несветай Области Войска Донского в бедняцкой семье. Учился в железнодорожном училище в Ельце, часто выступал в любительских концертах. Его незаурядные способности заметил профессор Петербургской консерватории Наталья Панш и рассказала А.Г.Рубинштейну о талантливом юноше. По рекомендации великого пианиста вчерашний машинист стал студентом вокального класса, которым руководил Станислав Иванович Габель.

В 1893 году Ершов окончил Санкт-Петербургскую консерваторию и с 1893 по 1894 год совершенствовался в Италии.
С 1894 года - солистом Харьковского оперного театра. С 1895—1929 - Мариинского театра, записывался на грампластинки в Петербурге («Граммофон», 1903 и «Колумбия»/Columbia, 1905).
Певец обладал мощным, подвижным, редким по тембру голосом широкого диапазона, яркой сценической внешностью. ему был свойствен поразительный дар перевоплощения. 
Ершов проявил себя и как талантливый художник. Его картины были показаны в 1910 году на выставке Товарищества художников.
С 1915 года Иван Ершов преподавал в Петроградской консерватории, а в 1916 году стал её профессором. 
Иван Васильевич - Народный артист СССР (1938), награждён орденом Ленина (1938), доктор искусствоведения (1941).
Умер 21 ноября 1943 года в Ташкенте. В 1956 году его прах был перезахоронен в Некрополе Александро Невской Лавры.