Магжан Жумабаев родился 25 июня 1893 года в урочище Сасыккуль, Сарыайгырская волости Петропавловского уезда, Акмолинской области Российской империи в зажиточной семье. Казах
Его отец Бекен, предки Жумабай-хаджи, Шонай, Утеген, Утемис — известные, знатные люди из племени Уак. Бекен от своей первой жены — узбечки Гульсум — имел семерых мальчиков и двух девочек: Мусилима, Кахармана, Магжана, Мухаметжана, Салтая, Галижана, Сабыржана, Гуляндан, Гульбарам. Благодаря заботе отца все дети получили необходимое начальное образование, тогда как не каждый родитель мог позволить такую роскошь.
1905—1910 гг. — учёба в медресе Петропавловска, где преподавали арабский, фарси, турецкий языки.
1910—1911 гг. — учёба в медресе "Галия" в Уфе, среди наставников — классик татарской литературы Галимджан Ибрагимов.
В 1912 году в Казани выходит его первый поэтический сборник "Шолпан" арабским шрифтом на казахском языке. Он получает известность среди казахской интеллигенции.
1913—1916 гг. — учёба в Омской учительской семинарии, где учится с Сакеном Сейфуллиным, заканчивает семинарию с золотой медалью.
Большое участие в его судьбе приняли академик Григорий Николаевич Потанин, крупнейший поэт и ученый Мыржакип Дулатов и директор семинарии Александр Никитич Сидельников. Г. Н. Потанин после первых встреч с Магжаном предсказал, что юноша в будущем станет вторым Чоканом Валихановым. Предсказание великого ученого сбылось. Магжан Жумабаев впоследствии стал крупнейшим тюркологом, историком, лингвистом, педагогом в духе русской классической школы, автором учебников по казахскому языку и литературе, книги "Педагогика".
В 1917 году на Втором всекиргизском съезде в Оренбурге избран с Ахметом Байтурсыновым в комиссию по составлению школьных учебников.
В начале 1918 года поэт был арестован представителями партии "Уш жуз" и около 7 месяцев просидел в тюрьме Омска. Здесь им написаны полные грусти и страдания стихотворения: "Жан-жарым-ды бір суйеін тусімде" ("Поцелую любимую во сне"), посвященную молодой жене (Магжан перед окончанием семинарии женился на внучатой племяннице Чокана Валиханова красавице Зейнеп, которая умерла при родах).
В 1918 году открывает в Омске и Петропавловске курсы казахских учителей и становится их директором.
В 1922 году приглашен председателем Совнаркома Туркестанского края Тураром Рыскуловым преподавать в Казахско-кыргызском институте просвещения в Ташкенте. Активно сотрудничает в газетах и журналах ("Акжол", "Сана", "Шолпан" и др.), публикует множество стихов и поэм, а также ряд исследовательских литературных работ. Выпускает второй сборник стихов и поэм в Ташкенте и издаёт в Оренбурге фундаментальный научный труд "Педагогика".
В 1923 году по приглашению наркома просвещения РСФСР Анатолия Луначарского преподает восточные языки в Коммунистическом университете трудящихся Востока (Тверской район)
Одновременно в 1923-26 годах учится в Московском литературно-художественном институте, возглавляемом В.Брюсовым. В Москве переводит на казахский произведения Лермонтова, Кольцова, Бальмонта, Мережковского, Вс. Иванова, Мамина-Сибиряка, Горького, Блока, а также стихи и поэмы Гете, Гейне и др. зарубежных поэтов. "Его называли казахским Пушкиным, сравнивали с Байроном и Шекспиром, говорили, что внешне он чем-то, даже, похож на Сергея Есенина — то ли волнами вьющихся волос, только не русых, а черных, как смоль, то ли открытой, как североказахстанская степь, и распахнутой навстречу самой жизни искренностью в глазах, только не синих и озорных, а темных, как степная ночь, и кажется, чуть подернутых дымкой печали, что по утрам таяла над войлоком юрт его родного аула, то ли по-есенински пронзительными до слез, полными глубочайшего лиризма стихами, музыка которых понятна душе" (В.Шестериков).
В 1927 году, завершив учёбу, возвращается в Казахстан, работает учителем.
Летом и зимой 1917 года в Оренбурге принимает участие в создании партии "Алаш" и правительства "Алаш-Орда" на обоих Общеказахских съездах, как делегат от Акмолинской области.
В 1923 году поэт Магжан Жумабаев был направлен из Туркестанской Республики в Москву в Высший литературно-художественный институт В.Брюсова, где познакомился с деятельностью писательских объединений и, в частности, Союза поэтов. И им было задумано создание литературного объединения казахских писателей, которое он назвал "Алка́" ("Коллегия") и написал программу организации. Она была направлена по почте для ознакомления литераторам, живущим в разных городах, и находила сторонников. Программа "Алка́" одобрялась в переписках, но не была принята, поскольку не было и собрания. "Алка́" организационно осталась неоформленной. Данное намерение создать литературное объединение было признано большевистскими властями признаком национализма, попыткой алашордынцев реанимироваться и вредить советскому строю. Вместе с тем, идея М. Жумабаева объединить поэтов и писателей Казахстана впоследствии выразилась в создании Союза писателей Казахстана летом 1934 года за три месяца до открытия первого съезда писателей СССР. Но позже его основатели Сакен Сейфуллин и Ильяс Джансугуров были репрессированы и расстреляны в 1937—1938 гг.
Жумабаева, как алашординца, пантюркиста и японского шпиона, арестовали в Петропавловске, а затем осудили на 10 лет лишения свободы. До суда он сидел в Москве, в Бутырке, а срок отбывал в Карелии и Архангельской области, в частности, в печально знаменитом СЛОН. В 1934 году он пишет письмо М.Горькому и Е.Пешковой. В 1936 году благодаря их ходатайству Жумабаев был досрочно освобожден из Свирского лагеря политзаключенных. Но через полтора года, 30 декабря 1937 года был снова арестован в Алма-Ате и расстрелян НКВД 19 марта 1938 года.
Во время ареста содержался в Бутырской тюрьме, которая находится на улице Новослободской - в нынешнем Тверском районе.
Более 20 лет его вторая жена Зулейха хранила на чердаке архив поэта, веря в возрождение Магжана. Наконец 8 июля 1960 года решением военного трибунала ТуркВО Магжан Жумабаев был посмертно реабилитирован. Его стихи вернулись к народу.
В 1993 году к его столетию в Петропавловске установлен трёхметровый гранитный памятник сидящего поэта с соколом на плече, также в 2000 году в городке Булаево СКО открыт бюст Жумабаева, а в 2003 году в селе Сарытомар района Магжана Жумабаева — памятник поэту.
Имя поэта также носит средняя школа № 39 города Шымкента Южно-Казахстанской области, во дворе которой установлен его бюст.