Jakir se narodil v Kišiněvu (dnešní Moldavsko) do rodiny bohatého lékárníka. Ještě před první světovou válkou zanechal studia a za války se stal tesařem vojenského závodu v Oděse, aby unikl mobilizaci. Po únorové revoluci vstoupil do bolševické strany a už v prosinci byl zvolen členem besarabského sovětu. Na počátku občanské války se stal velitelem internacionalistických oddílů v Rudé armádě složených z rakouských, maďarských, českých, středoasijských, čínských a dalších dobrovolníků. Sám velel regimentu čínských internacionalistů. Přispěl se svými vojáky k porážce atamana Krasnova. Na počátku občanské války se stal představitelem komunistické vojenské moci ve Voroněži a komisařem Rudé armády. Jako ocenění jeho schopností v boji proti Krasnovovi a při velení čínskému regimentu, získal jako druhý velitel Rudé armády řád Rudého praporu. Z neúspěšného studenta se stal úspěšným velitelem během dvou let.
Podílel se i na teroru proti antikomunisticky smýšlejícímu obyvatelstvu a zejména proti kozákům. Na Donu vydal nařízení o „procentní likvidaci mužského obyvatelstva“. Existují doklady o Jakirových zvěrstev, kdy zajaté důstojníky protivníka on a jeho muži mučili.
V roce 1919 Jakir stanul v čele 45. střelecké divize, která „uklidňovala“ rolnická povstání. Později se podílel na sovětském protiútoku na Polsko, ovšem před regulérní polskou armádou se musely zbytky Jakirových vojsk zachraňovat útěkem. Tady se nedalo vítězit tak rychle a snadno jako při potlačování povstání a následných genocidách neozbrojených rolníků. I tak si ale Jakir vysloužil další dva řády Rudého praporu.
A jeho vojenská kariéra úspěšně pokračovala. Patřil mezi představitele „modernizátorů“ a „reformátorů“ Rudé armády, společně např. s Michailem Frunzem, nebo Michailem Tuchačevským. Působil především na Ukrajině. Důležitým milníkem v životě se pro něj stal listopad 1925, kdy byl povýšen na náčelníka Ukrajinského vojenského okruhu, strategicky důležitého pro celý Sovětský svaz.
Vzdělání si zanedlouho, v letech 1928 – 1929, doplnil v rámci sovětsko-německé vojenské spolupráce na německé vojenské akademie v Berlíně, kde se setkal s mnoha osobnostmi tehdejšího německého vojenství. V roce 1930 byla pod jeho velením ustanovena největší tanková a letecká divize na světě. V roce 1934 zorganizoval do té doby největší vojenské manévry v historii zaměřené na rozvoj teorií hloubkové operace. Rovněž šlo také o první vojenské manévry, do nichž byla najednou zapojena tanková, pěší a letecká vojska a jejich dělostřelecká podpora. Jakir předvedl při tomto cvičení na území o rozloze 200 x 250 kilometrů s nasazením 65 000 vojáků Rudé armády, 1 800 příslušníků vůbec prvních sovětských výsadkových jednotek, více než 1 200 tanků a 600 stíhaček a lehkých bombardérů neskutečný výkon a sklidil zasloužené uznání od všech přítomných zahraničních důstojníků. Stal se poté armádním velitelem I. třídy a ocitl se na vrcholu své vojenské kariéry.
A ta už mu měla brzy skončit. Stále vzrůstající popularita velitelů – reformátorů Rudé armády stejně jako neúspěšné ekonomické experimenty a z toho plynoucí hladomor a hrozící nepokoje, přiměly Stalina začít shromažďovat potencionálně likvidační informace a materiály na své důstojníky. Na Jakira byl nasazen Lazar Kaganovič, Stalinův blízký přítel a spolupracovník, který nedokončil ani jednu třídu základní školy. Na základě jeho poznatků vyšlo najevo, že Jakir měl na svědomí komunisty organizovaný hladomor na Ukrajině, který stál životy milionů lidí, a podílel se na s ním souvisejících represích. Jeho rozhodnutí byla vždy nemilosrdná – vyloučit ze strany, postavit před soud a zastřelit. Z politických důvodů Jakirovi „přitížilo“ i velice blízké přátelství s Tuchačevským, který, jak bylo tehdy všeobecně známo, měl se Stalinem velice vyhrocené a nepřátelské vztahy, a nakonec se stal nejznámější obětí Stalinových čistek ve vojenských kruzích.
Nakonec se smyčka stáhla i kolem Jakira. V květnu 1937 ho zatkla NKVD a společně se sedmi dalšími nejvyššími veliteli Rudé armády byli všichni po neveřejném soudu odsouzeni k smrti a 11. června 1937 zastřeleni. Později se ukázalo, že za základ celého Jakirova stíhání posloužilo obvinění ze spolupráce s bezpečnostními orgány nacistického Německa, vyrobené na Stalinův příkaz. Roku 1957 byl Jakir posmrtně rehabilitován, aniž by se přihlédlo ke zločinům, kterých se sám dopustil při potlačování rolnických a kozáckých povstání.
