Godine 1923. je postao član tada ilegalne Komunističke partije. Tokom studija prava u Beogradu, aktivno je učestvovao u revolucionarnom studentskom pokretu i bio jedan od njegovih rukovodilaca. Kasnije je rukovodio sindikalnom organizacijom i organizacijom Crvene pomoći, a politički je radio i u rodnom kraju. Zbog revolucionarnog rada je bio hapšen i osuđivan, a avgusta 1928. je bio uhapšen i februara naredne godine osuđen na šest godina zatvora.
Za vrijeme izdržavanja zatvorske kazne u Sremskoj Mitrovici i Lepoglavi, aktivno je učestvovao u borbi političkih zatvorenika za bolje uslove boravka u zatvoru, zbog čega je 1934. godine bio osuđen na još dvije godine zatvora. Nakon izlaska na slobodu, ponovo se posvetio partijskom radu i djelujući u Beogradu i Crnoj Gori. Godine 1939. je bio izabran za člana Centralnog komiteta KPJ. Od januara do maja 1940. godine je bio zatvoren u logoru u Bileći. Oktobra 1940. na Petoj konferenciji KPJ je bio izabran za Politbiroa CK KPJ.
Nakon okupacije Jugoslavije 1941. godine, kao član rukovodstva KPJ, učestvovao je u organizovanju Narodnooslobodilačkog pokreta (NOP). Kao član Vrhovnog štaba djelovao je prvo u zapadnoj Srbiji, a potom je od novembra 1941. boravio u Crnoj Gori, gdje je bio komandant Glavnog štaba NOP odreda Crne Gore.
Sa Vrhovnim štabom i proleterskim brigadama je juna 1942. napustio Crnu Goru i otišao u Bosansku krajinu, gdje je u novembru iste godine na Prvom zasijedanju AVNOJ-a postao član njegovog Izvršnog odbora.
Sa glavninom partizanskih snaga, prošao je kroz borbe u Četvrtoj i Petoj neprijatljeskoj ofanzivi, na Neretvi i Sutjesci, a novembra 1943. na Drugom zasijedanju AVNOJ-a je postao član njegovog Predsjedništva i povjerenik za narodnu privredu u Nacionalnom komitetu oslobođenja Jugoslavije. U ljeto 1944. je boravio na oslobođenoj teritoriji Crne Gore, a u septembru je sa maršalom Titom otputovao u Sovjetski Savez, gdje je odlikovan Ordenom Kutuzova.
Po povratku u Jugoslaviju, oktobra 1944. je boravio je oslobođenom Banatu. Nakon oslobođenja Beograda, 23. oktobra je iz Petrovgrada otišao u Pančevo, gdje se ukrcao na jedan šlep i krenuo ka Beogradu. Na Dunavu, u blizini Višnjice, šlep je naišao na zaostalu njemačku minu, nakon čega je potonuo. Tom prilikom, od eksplozije i utapanja stradalo je ukupno sedmoro lica, među kojima i Ivan Milutinović. Prvobitno je bio sahranjen u Aleji narodnih heroja na Novom groblju, a 1948. godine je prenet i sahranjen u Grobnicu narodnih heroja na Kalemegdanu.
Za narodnog heroja je proglašen 6. jula 1945. godine. Od 1949. do 1992. grad Berane nosio je u njegovu čast naziv Ivangrad.
