Rochemback jest wychowankiem klubu Internacional z Porto Alegre. W drużynie tej zadebiutował w 2000 roku w lidze brazylijskiej i przez niepełne dwa lata był podstawowym zawodnikiem tej drużyny. Z Internacionalem nie walczył o mistrzostwo, a w jego barwach wystąpił łącznie w 40 meczach i strzelił 7 goli.

W 2001 roku Rochemback stał się jednym z letnich zakupów prezesa FC Barcelona Joana Gasparta - kosztował 9 milionów euro. U Carlesa Rexacha zadebiutował 26 sierpnia w wygranym 2:1 wyjazdowym meczu z Sevillą. Transfer Fábio okazał się jednak niewypałem. W pierwszym sezonie gry Rochemback wystąpił w 24 ligowych meczach i strzelił 2 gole (z Rayo Vallecano oraz Deportivo Alavés), a z Barceloną zajął 4. miejsce. Natomiast w sezonie 2002/2003 już za trenerskiej kadencji Louisa van Gaala Brazylijczyk zagrał w 21 meczach i zdobył 1 bramkę w lidze, a Barcelona zajęła 6. miejsce. Z klubem z Camp Nou nie osiągnął sukcesów także w rozgrywkach Pucharu Hiszpanii i Ligi Mistrzów.

Latem 2003 z klubu odszedł Gaspart, a nowy prezes Joan Laporta zrezygnował z usług Rochembacka, który został wypożyczony do Sportingu, a potem sprzedany za 2,5 miliona euro. W Sportingu Fábio osiągnął wysoką formę i już w pierwszym sezonie w lidze portugalskiej zdobył 9 goli w lidze, a w następnym jednego. Ze Sportingiem dwukrotnie zajmował 3. miejsce, a w sezonie 2004/2005 wystąpił w finale Pucharu UEFA, który portugalski klub przegrał 1:3 z CSKA Moskwa.

W sierpniu 2005 roku Rochemback za 1,5 miliona euro przeszedł do angielskiego Middlesbrough F.C.. W Premiership zadebiutował 10 września w wygranym 2:1 meczu z Arsenalem, a 11 lutego zdobył swoją pierwszą bramkę na angielskich boiskach (Boro pokonało wówczas Chelsea F.C. 3:0). W 2006 roku Fábio po raz drugi w karierze wystąpił w finale Pucharu UEFA, a Middlesbrough uległ w nim Sevilli aż 0:4. W sezonie 2006/2007 z Middlesbrough, w którym był zawodnikiem wyjściowej jedenastki, zajął 12. miejsce w Premiership, o dwa oczka wyższe niż rok wcześniej.

13 maja 2008 roku Rochemback powrócił do Sportingu Lizbona, z którym podpisał trzyletni kontrakt.