Karijeru je počeo u RFK Novi Sad 1961. koji je tada bio prvoligaš. Tu je ostao sve do decembra 1963. kada stiže u Partizan na poziv Huga Ruševljanina, koji ga je doveo na početku karijere i u Novi Sad.
Pirmajer ili Sepi kako su ga saigrači zvali, odigrao je za crno-bijele 261 meč i postigao 89 golova i bio je standardni prvotimac. Igrao je na mjestu lijevog veznog (iako je nosio broj 11) i sa Partizanom osvaja titulu prvaka 1964/65, što je bio uvod u kasniji pohod do finala Kupa evropskih šampiona u sezoni 1965/66.
Josip Pirmajer je odigrao svih devet utakmica na putu do finala, uključujući i finale protiv Reala, i postigao je i jedan gol, protiv Verdera iz Bremena u Beogradu.
Jedan je od rijetkih koji je ostao u Partizanu i poslije tog finala još dvije godine. U ljeto 1968. preselio se u Vojvodinu, tu je proveo četiri sezone, a onda potpisao za francuski Nim za koji je igrao naredne dvije i po godine.
Karijeru je završio tamo gdje je i počeo – u FK Novi Sad, igrajući za „kanarince“ od 1975. do kraja sezone 1976/77. Nastupao je i za sve selekcije reprezentacije Jugoslavije, a za najjači tim „plavih“ zaigrao je četiri puta.
Sepi je bio izuzetno korektan igrač, tako je zabilježen podatak da kroz celu karijeru nikad nije bio isključen, niti je dobio žuti karton.
Po završetku igračke karijere Pirmajer se bavio trenerskim poslom, radeći u mnogim klubovima – Novom Sadu, Vojvodini, Bečeju, Sileksu, Elanu, Beogradu.
