Po swoim debiutanckim sezonie w Jupiler League, w którym to zdobył pięć bramek dla AA Gent został sprzedany do występującego w Premier League angielskiego Coventry City. Jednak dopiero w sezonie 2001/2002 zadebiutował na angielskich boiskach, a miało to miejsce już po spadku Coventry do Football League Championship. Wkrótce zainteresowało się nim Lierse SK i Delorge powrócił do kraju, stając się ważnym graczem pierwszego zespołu. Trzy lata później podpisał kontrakt z RSC Anderlecht. Grał w nim tylko przez jeden sezon, po którym to przeniósł się do holenderskiego ADO Den Haag. Wkrótce zespół spadł do drugiej ligi. 10 maja 2007 Delorge podpisał dwuletni kontrakt z Ajaksem Amsterdam. Nie przebił się tam jednak do wyjściowej jedenastki, w efekcie czego zimą 2009 odszedł do Rody Kerkarde.