Richards urodził się w Birmingham w czasie, gdy jego rodzice przebywali u krewnych w odwiedzinach. Dorastał jednak w Leeds i tam też zaczął swoją piłkarską karierę w Leeds City Boys. W wieku 12 lat Richards trafił do młodzików Oldham Athletic, a w 2001 roku przeniósł się do Manchesteru City. W pierwszej drużynie Manchesteru Richards zadebiutował 22 października 2005 roku w przegranym 0:1 wyjazdowym meczu z Arsenalem, gdy w 85. minucie zmienił Danny'ego Millsa. Pierwszy mecz w pełnym wymiarze czasowym rozegrał dopiero 12 lutego, gdy City podejmowało na własnym boisku Charlton Athletic (3:2). Ogółem w całym sezonie rozegrał 13 ligowych meczów i z Manchesterem zajął 15. miejsce w Premiership. Po sezonie otrzymał nagrodę dla Najlepszego Młodego Piłkarza w sezonie 2005/2006. W tym samym sezonie Richards był kapitanem młodzieżowej drużyny City, która dotarła do finału Młodzieżowego Pucharu Anglii. Nie grał w pierwszym meczu z Liverpoolem, przegranym 0:3, ale powrócił na drugi, wygrany przez City 2:0. W lipcu 2006 Manchester City odrzucił ofertę Tottenhamu Horspur w sprawie kupna Richardsa za 5 milionów funtów. 25 lipca Richards podpisał nowy 4-letni kontrakt z zespołem z City of Manchester Stadium i otrzymał nowy numer 2 zamiast poprzedniego 45. Od początku sezonu 2006/2007 stał się graczem podstawowej jedenastki Manchesteru. 30 września w wyjazdowym meczu z Evertonem zdobył swojego pierwszego gola w lidze, w 90 minucie wyrównując stan meczu na 1:1.