Pomocnik swoje pierwsze kroki stawiał w szkółce CSK Bamako. Po przejściu przez wszystkie kategorie młodzieżowe zawitał w pierwszej drużynie, której pomógł w awansie do pierwszej ligi. Wtedy właśnie drzwi do europejskiej piłki zostały otwarte.

Na początku sezonu 1998/1999 OFI Kreta zaprosiła Diarrę na testy. Mahamadou zrobił na tyle korzystne wrażenie na Grekach, że ci zaoferowali mu pierwszy w jego karierze profesjonalny kontrakt. W Grecji nie wytrzymał jednak zbyt długo i już po roku przeniósł się do holenderskiego Vitesse Arnhem. Mimo początkowych trudności z adaptacją, z pomocą ówczesnego szkoleniowca Vitesse, Ronalda Koemana, Diarra w końcu przystosował się do nowej kultury gry. Ta z kolei przyczyniła się do znacznej poprawy jego umiejętności technicznych. Dzięki grze Malijczyka, skromny klubik z Arnhem zajął kolejno szóste i piąte miejsce w lidze holenderskiej (lata 2000/2001 oraz 2001/2002).

W 2001 roku, jeszcze podczas gry w Holandii, Diarra podpisuje kontrakt z Olympique Lyon. Kwota transferu wyniosła 3,8 mln €. Jego okres gry w stolicy Rodanu zbiegł się w czasie z absolutną dominację Lyonu na arenie krajowej, gdzie udało się wywalczyć cztery kolejne tytuły mistrzowskie. Nazwa "Olympique Lyon" zaczynała znaczyć też coraz więcej w Europie, w gronie pokonanych przez Francuzów miał nieprzyjemność znaleźć się także sam Real Madryt. Diarra przedłużył swój kontrakt do 2009 roku, jednak zainteresowanie ze strony Królewskich sprawiło, iż zmienił swe plany na przyszłość. Od zbliżającego się sezonu siła fizyczna Mahamadou oraz jego ponadprzeciętne umiejętności techniczne pomogą drużynie z Santiago Bernabéu. Kwota transferu wyniosła 26 mln euro. Mahamadou Diarra strzelił bardzo ważnego gola w ostatnim meczu Realu Madryt, który podejmował wówczas Real Mallorca. Real wygrał 3:1 i dzięki temu zdobył Mistrzostwo Hiszpanii. Sam Mahamadou stał się bohaterem narodowym w swojej ojczyźnie.