Marek Jankulovski piłkarską karierę rozpoczynał w czeskim zespole Baník Ostrawa. Grał tam od dziesiątego roku życia, a do kadry pierwszej drużyny został włączony w sezonie 1993/1994. Przez pierwsze trzy sezony Czech wystąpił tylko w dziesięciu ligowych pojedynkach, jednak w kolejnych rozgrywkach była już podstawowym zawodnikiem swojego zespołu. Przez siedem lat spędzonych w Baníku Jankulovski rozegrał 110 meczów, w których piętnaście razy wpisał się na listę strzelców. Następnie przeniósł się do Serie A, gdzie przez dwa sezony reprezentował barwy SSC Napoli. Dzięki dobrej grze, latem 2002 roku Jankulovski trafił do Udinese Calcio. Dla ekipy "Bianconerich" zaliczył 91 występów i zdobył szesnaście bramek. Chęć pozyskania Czecha wyraziło kilka innych klubów, między innymi A.C. Milan, do którego Marek trafił w maju 2005 roku za osiem milionów euro. Razem z zespołem "Rossonerich" Jankulovski w 2007 roku triumfował w rozgrywkach Ligi Mistrzów, Superpucharu Europy oraz Klubowych Mistrzostw Świata.