Mexès urodził się w Tuluzie i w tym mieście stawiał swoje piłkarskie kroki. Zapisał się do szkółki Toulouse FC, do której zachęciła go starsza siostra i to właśnie ona zaprowadzała młodego Philippe’a na treningi. Jednak w wieku 16 lat młody Mexès opuścił rodzinne miasto i trafił do innej znanej szkółki we Francji, AJ Auxerre. Grał w młodzieżowej drużynie AJA i w 1999 roku zdobył amatorskie mistrzostwo Francji, a zaraz potem w sezonie 1999/2000 roku trafił do kadry pierwszego zespołu. W Ligue 1 zadebiutował 10 listopada w przegranym meczu z Troyes AC. Ogółem w całym sezonie zagrał jeszcze 4 razy, a tygodnik France Football przyznał mu nagrodę „Nadziei Roku we Francji”. W sezonie 2000/2001 trener Guy Roux wstawił do pierwszego składu 18-letniego Philippe, który już do końca sezonu nie oddał w nim miejsca i stał się jednym z najlepszych zawodników młodego pokolenia w Ligue 1. W sezonie 2001/2002 Mexès zdobył swoją pierwszą w karierze bramkę - 8 grudnia 2001 w wygranym 2:0 meczu z AS Monaco. Auxerre rozegrało dobry sezon i zajęło 3. miejsce w lidze gwarantujące start w kwalifikacjach Ligi Mistrzów. Przyczyniła się do tego także gra Philippe, który uplasował się w czołówce najlepszych obrońców ligi. Sezon 2002/2003 to dla Mexèsa awans do Ligi Mistrzów, w której to jednak Auxerre nie sprostało Borussii Dortmund i Arsenalowi Londyn zajmując 3. miejsce w grupie. Dzięki temu Auxerre zagrało w Pucharze UEFA i z Mexèsem w składzie doszło do 1/8 finału. Na niwie krajowej Auxerre odniosło sukces w postaci zdobycia Pucharu Francji, a w lidze zajęło wysokie 6. miejsce. Sezon 2003/2004 był jak się później okazało ostatnim dla Mexèsa w barwach Auxerre, z którym wywalczył 4. miejsce w Ligue 1 i ponownie dotarł do 1/8 finału Pucharu UEFA.

Latem 2004 22-letni Philippe został sprzedany do włoskiej Romy za sumę 10 milionów euro. W Serie A Mexès zadebiutował już w pierwszej kolejce ligowej – 12 września w wygranym 1:0 meczu z Fiorentiną. Jednak pierwszy sezon w Romie był dla Mexèsa niezbyt udany. Popełniał zbyt wiele błędów i wielokrotnie prasa winiła go za stracone przez Romę bramki, zresztą Roma zajęła dopiero 8. miejsce w lidze. Latem 2005 nowym trenerem Romy został Luciano Spalletti, jednak sezon 2005/2006 Mexès zaczął na ławce, gdyż miejsce w pierwszej jedenastce zajął Samuel Kuffour. Gdy Kuffour wyjechał na Puchar Narodów Afryki, Mexès zajął jego miejsce i praktycznie nie oddał go już do końca sezonu. Miał także duży udział w pobiciu przez Romę rekordu 11 kolejnych zwycięstw w lidze. Ostatecznie także po korektach tabeli ze względu na ukaranie ujemnymi punktami Juventusu Turyn, A.C. Milan i Fiorentiny, Roma przesunęła się z 5. na 2. miejsce w tabeli stając się wicemistrzem kraju. Od tego czasu Mexès jest bezsprzecznie