Gurpegi jest wychowankiem małego klubu CD Izarra. W 1998 roku podjął treningi w juniorach Athletic Bilbao. W sezonie 1999/00 występował w CD Baskonia, będącym drugim zespołem rezerw Athletic, a jeszcze w jego trakcie rozegrał mecz w pierwszym zespole rezerw. W rezerwach występował przez niemal 2 lata, a w 2002 roku został włączony do kadry pierwszej drużyny z Bilbao.

W Primera Division zadebiutował 21 marca w przegranym 2:5 wyjazdowym meczu z Villarrealem. Od sezonu 2002/03 Gurpegi był już podstawowym zawodnikiem Athletic. W wygranym październikowym meczu z Recreativo Huelva (2:1) zdobył pierwszego gola w lidze, a od końca sezonu jeszcze trzykrotnie trafiał do siatki rywali. Bilbao zajęło wówczas 7. pozycję w lidze. W sezonie 2003/2004 doprowadził Athletic do 5. miejsca i tym samym w sezonie 2004/2005 wystąpił w rozgrywkach Pucharu UEFA i awansował ze swoim klubem z grupy (zdobył łącznie 2 gole: z Trabzonsporem i Parmą). W lidze uzyskał 4 trafienia i z Bilbao zajął 9. miejsce w La Liga. W sezonie 2005/2006 zakończył sezon na 12. pozycji.

31 lipca 2006 roku Gurpegi został zdyskwalifikowany na 2 lata przez Hiszpańską Federację Piłkarską za stosownanie niedozwolonego środka - nandrolonu. Athletic nie rozwiązało jednak kontraktu z piłkarzem.