Kad je bio mladić, Ivanović je sanjao da postane pilot, pa je zbog toga upisao prestižnu Vojnu akademije u Zagrebu, prijestonici tadašnje Socijalističke Republike Hrvatske. Tu je započeo ozbiljno treniranje karatea za vrijeme studija. Vrlo brzo postaje karate instruktor.
Nakon tri godine studija, Ivanović napušta zagrebačku Vojnu akademiju nakon što mu je konstatovano da ima urođeni oštećen vid. Vraća se na Kosovo i pohađa i završava Mašinski fakultet u Mitrovici, ogranak Univerziteta u Prištini. Naknadno apsolvira i na Ekonomskom fakultetu u Prištini.
Nastavlja paralelno sa svojim studijima profesionalno usavršavanje svoje borilačke vještine, dobija nove pojase, i dostiže vrhunac kada je osvojio prvenstvo u karate takmičenju Kosova. Dobija i određeni međunarodni prestiž postavši počasni međunarodni karate sudija, što dovodi do usavršavanja njegovog poznavanja stranih jezika koje je poveo još iz srednjeg obrazovanja. Govorio je engleski, albanski i italijanski jezik.
Prema pisanju srpskih medija, političar postaje 1999. godine na molbu "momaka s mosta" (koji razdvaja srpski od albanskog dijela.
Živio je u Kosovskoj Mitrovici sa ženom Milenom i tri sina - Nikolom, Žarkom i Jankom. Oliver Ivanović optužen je za ratni zločin počinjen nad civilima 14. aprila 1999. i februara 2000. Uhapšen je 27. januara 2014. i od tada se (izuzimajući kratak period nakon prvostepene presude) nalazio u zatvoru u Kosovskoj Mitrovici.
Prvostepeni sud je Ivanovića najprije osudio na devet godina zatvora, ali je tu presudu poništio Apelacioni sud, donijevši odluku da se suđenje ponovi. Oliver Ivanović je ubijen danas u Kosovskoj Mitrovici. Na njega je ispaljeno pet metaka, a ubice su u bjekstvu.
