1882’de İstanbul’da doğdu. Mehmet Emin Paşa’nın oğludur. İlköğrenimini İstanbul, Van, Harput ve Mekke’de tamamladıktan sonra, 1896’da İstanbul Fatih Askeri Rüştiyesi’ni, 1899’da Kuleli Askeri İdadisi’ni, 1902’de Harbiye Mektebi’ni ve 1905’te de Erkân-ı Harbiye Mektebi’ni bitirerek yüzbaşı rütbesiyle orduya katıldı. İki yıllık kıta stajını Manastır’da yaptı.
İttihat ve Terakki’nin Manastır örgütünün kurulmasına katıldı. 1907’de kolağası (önyüzbaşı) rütbesi alarak İstanbul Harbiye Mektebi, tabiye öğretmen vekilliğine atandı. İttihat ve Terakki İstanbul örgütünün kurulmasında görev aldı. 2. Meşrutiyet’ten sonra Edirne’de 2. Ordu, 3. Fırka (tümen) Erkân-ı Harfliği’ne (kurmaylığına) atandı. 31 Mart 1909 ayaklanmasında Hareket Ordusu’nda görev aldı. 1910 Arnavutluk ayaklanmasının bastırılması harekâtında çalıştı.
14 Nisan 1912’de binbaşılığa yükseldi. Balkan Savaşı’nda Trakya sınır komiseri olarak görev yaptı. 1914’te kaymakam (yarbay) rütbesiyle Birinci Kuvve-i Seferiye komutanlığıyla İran ve ötesi harekâtıyla görevlendirildi. Bir süre sonra İstanbul Kartal’da 14. Fırka Komutanlığı’na atandı ve Çanakkale’ye gönderildi. Kerevizdere’de Fransızlara karşı 3 ay savaştıktan sonra miralaylığa (albay) yükseldi. Buradan, İstanbul’da 1.Ordu Erkân-ı Harbiye Başkanlığı’na, sonra Galiçya’ya gidecek ordunun ve ardından Mareşal Von der Goltz’un Erkân-ı Harbiye Başkanlığı’na atanarak Irak’a gitti. 1916’da Kutü’l-Amare’yi kuşatan 18. Kolordu Komutanlığı’na getirildi ve burayı aldıktan sonra Irak’ta İngilizlerle çarpıştı. 1917’de Diyarbakır’daki 2. Kolordu Komutanlığı’na getirildi ve Van, Bitlis, Elazığ cephelerindeki 2. Ordu Komutanlığı’na vekâlet etti. 1918’de Erzincan ve Erzurum’u Ermenilerden ve Ruslardan geri aldı. Ardından Sarıkamış, Kars ve Gümrü Kalelerini ve Karaköse’yi kurtardı. Aynı yıl Mirliva (Tümgeneral) oldu. Mondros Mütarekesi sırasında sadrazam olan Ahmet İzzet Paşa’nın Erkân-ı Harbiye-i Umumiye Reisliği (Genelkurmay Başkanlığı) önerisini kabul etmeyerek Anadolu’da görev almak istedi.
Önce Tekirdağ’daki 14. Kolordu Komutanlığı’na, ardından da Erzurum’daki 15. Kolordu Komutanlığı’na atanmasını sağlayarak Nisan 1919’da göreve başladı. Hazırlıkları yapılan Erzurum Kongresi’nin toplanmasında önemli rol oynadı. Kurtuluş Savaşı’nda Edirne milletvekilliği ve Doğu Cephesi Komutanlığı yaptı. Ermenilerin eline geçen Sarıkamış, Kars ve Gümrü Kalelerini geri alarak 15 Kasım 1920’de Ermeni ordusunu kesin olarak yendi. Ermeni hükümetiyle Ankara hükümeti adına Gümrü Antlaşması’nı imzaladı. Kars’ın alınmasıyla ferikliğe (korgeneral) yükseldi. Rus Sovyet Sosyalist Federe Cumhuriyeti ve Kafkasya hükümetleriyle Kars Antlaşması görüşmelerini yürüttü.
Kurtuluş Savaşı’nın bitiminden sonra 1. Ordu müfettişliğine atandı, 1923’te İstanbul milletvekili oldu. 1924’te, TBMM’deki Dörtler Grubu’nu destekledi. Ardından askerlikten ayrılarak Halk Fırkası’ndan istifa etti. 17 Kasım 1924’te kurulan Terakkiperver Cumhuriyet Fırkası’nın başkanlığına seçildi. Parti 3 Haziran 1925’te Şeyh Sait Ayaklanması nedeniyle kapatıldı. Kazım Karabekir, Mustafa Kemal Paşa’ya karşı yapılan İzmir suikastı ile ilgili görülerek bazı partililerle birlikte yargılandıysa da beraat etti. Siyasi hayatına on iki yıllık aradan sonra, 6 Ocak 1939’da İstanbul milletvekili olarak devam etti. 1946’da TBMM başkanlığına seçildi ve bu görevde iken 26 Ocak 1948’de Ankarna7da hayata gözlerini yumdu.