Ben Haim zadebiutował w izraelskiej ekstraklasie w wieku siedemnastu lat i w ciąg 6 lat rozegrał w barwach Maccabi Tel Awiw 147 meczów oraz strzelił 2 bramki. Po sezonie 2003/04 wykupił go angielski Bolton Wanderers. 20 października 2005 roku po raz pierwszy przywdział opaskę kapitana Boltonu, działo się to podczas meczu Pucharu UEFA przeciwko Beşiktaş JK. Pod koniec 2006 roku zainteresowanie Ben Haimem wyraził José Mourinho. Transfer do Chelsea sfinalizowany został 14 czerwca 2007 roku. Wtedy to Ben Haim podpisał z The Blues 4-letni kontrakt. Dnia 30 lipca 2008 roku Tal Ben haim stał się piłkarzem Manchesteru City. Zapłacono za niego 5 milionów funtów. W nowym klubie zadebiutował 14 sierpnia w meczu Pucharu UEFA z FC Midtjylland