Clerc jest wychowankiem klubu Olympique Lyon. Grał w nim w drużynach juniorskich jednak do 21. roku życia nie mógł przebić się do pierwszego składu i latem 2004 został wypożyczony do Toulouse FC. W barwach tego klubu zadebiutował w Ligue 1, 14 sierpnia w wygranym 4:1 wyjazdowym meczu z RC Strasbourg. Jednak przez niemal cały sezon nie zdołał wywalczyć miejsca w składzie zespołu z Tuluzy i wystąpił w 7 meczach ligowych.

Latem 2005 Clerc wrócił do Lyonu, w którym zadebiutował 2 października w wygranym 3:1 wyjazdowym meczu ze Stade Rennais FC. Na wiosnę 2006 wystąpił w pierwszym składzie w meczu z Olympique Marsylia (2:1) i od tego czasu do końca sezonu miał już pewne miejsce w składzie zespołu Gérarda Houlliera, z którym został mistrzem Francji. W sezonie 2006/2007 jego konkurentem do miejsca w pierwszej jedenastce był Anthony Réveillère. Clerc wystąpił w Lidze Mistrzów (5 meczów) i z Lyonem doszedł do 1/8 finału, skąd francuski zespół odpadł po dwumeczu z Romą. Ligowe zmagania Olympique zakończył na pierwszej pozycji, podobnie jak w sezonie 2007/2008.