Karierę piłkarską rozpoczął na przełomie lat 1990-1991 grając w młodzieżowej drużynie F.C. Messina Peloro. Przez następne lata grał w zespołach niższej ligi: w amatorskiej drużynie Tor di Quinto (1991-1992), S.C. Marsala 1912 (Serie C, 1993-94) i A.S. Trapani (Serie C, 1994-95), które było w tym czasie bliskie awansu do Serie B. Od 1995 grał dla A.C. Perugia, którego w tym czasie trenem był Walter Novellino. W 1996 Materazzi został wypożyczony przez Carpi F.C. Na jeden sezon (1998-1999) przeszedł do Everton F.C., gdzie w 4 z 27 meczów został usunięty z boiska.

Następnie powrócił do Perugii, która była wtedy w Serie C1. Zdobywając wtedy 12 goli w sezonie 2000-2001, pobił rekord Daniela Passarelli grającego w Serie A, jednocześnie bijąc rekord goli zdobytych przez obrońcę w jednym sezonie. Następnie, w 2001 przeszedł do Interu Mediolan będącego w Serie A. W tym czasie media kreowały jego wizerunek jako zawodnika brutalnego, grającego w sposób nieczysty, lecz pomimo to był ceniony przez kibiców Interu za agresywną postawę i imponujące osiągnięcia[potrzebne źródło]. Z drużyną z Mediolanu dwukrotnie zdobył Puchar Włoch w piłce nożnej.

19 sierpnia 2007 w 45. minucie towarzyskiego meczu z reprezentacją Węgier został poważnie kontuzjowany i stracił przytomność (wstępna diagnoza wykazała, że był to rozległy wylew w udzie). Początkowo lekarze twierdzili, iż może to stać się przyczyną zakończenia jego kariery piłkarskiej, później jednak uważano, że istnieje szansa na jego powrót do piłki nożnej. Przeszedł operację i 26 sierpnia opuścił szpital. Jego rehabilitacja trwała około czterech miesięcy. 9 grudnia 2007 roku rozegrał 60 minut w wygranym przez Inter meczu z Torino FC. Była to pierwsza dłuższa gra Materazziego po dojściu do zdrowia.