Военная карьера Михаила Ефремова началась в сентябре 1915 года в русской императорской армии.
В Красной Армии Ефремов служил с 1918 года. Он прошел путь от инструктора до генерал-лейтенанта, командуя различными подразделениями.
В межвоенный период Ефремов непрерывно повышал квалификацию, окончив Высшие военно-академические курсы, курсы высшего начальствующего состава РККА и Военную академию имени М.В. Фрунзе. Он командовал дивизиями, был военным советником в Китае.
В 1941 году Михаил Ефремов командовал 33-й армией и успешно защищал подступы к Москве на Наро-Фоминском направлении. 33-я армия сумела остановить превосходящие силы противника, угрожавшего столице. К концу года под его руководством были освобождены Наро-Фоминск, Боровск и Верея.
В январе 1942 года 33-я армия получила приказ наступать на Вязьму. В феврале и марте 1942 года армия Ефремова вела изнурительные бои, не хватало боеприпасов и продовольствия. С 13 апреля связь со штабом 33-й армии была потеряна. 19 апреля 1942 года тяжелораненый Михаил Ефремов застрелился.
В экспозиции Вяземского историко-краеведческого музея можно увидеть военный мундир, саблю, планшет, папку для бумаг, шпоры Михаила Ефремова. В фондах музея хранятся книги из его библиотеки, переписка с сыном, фотографии из семейного архива.