Diaby urodził się w Paryżu. Jako dziecko był kibicem Olimpique Marsylia. Swoją karierę piłkarską rozpoczął w juniorskiej drużynie miejscowego Red Star Saint-Ouen. W wieku 13 lat dołączył do szkółki piłkarskiej miejscowego Paris Saint-Germain. Juniorską karierę zakończył w akademii piłkarskiej Centre Technique National Fernand Sastre.

W roku 2003 dołączył do ekipy AJ Auxerre i był członkiem drużyny, która wygrała w czerwcu tego samego roku krajowe mistrzostwa U-16. Początkowo grał w drużynie rezerw. W 2004 roku zaczął występować w pierwszej drużynie. W 2005 roku zdobył z drużyną Puchar Francji.

12 stycznia 2006 roku, za 2 miliony funtów, przeszedł do drużyny Arsenalu, o piłkarza starała się także Chelsea Londyn.

W Arsenalu zadebiutował 21 stycznie z meczu z Evertonem (przegrana 1-0). Pierwszą bramkę dla Arsenalu zdobył 5 kwietnia w meczy przeciwko Aston Villi (5-0)

Diaby zaliczył 14 występów w reprezentacji Franji U-19 i był jej kapitanem podczas Mistrzostw Europy 2005, na których jego kraj odniósł zwycięstwo. W lutym 2006 roku zadebiutował w kadrze U-21, w której wystąpił jeden raz.
Z powodu złamania kostki z przemieszczeniem Diaby opuścił finał Ligi Mistrzów 2005/06 z FC Barceloną i Mistrzostwa Europy U-21, w których oczekiwano, że zagra.

15 marca 2007 został powołany do seniorskiej kadry Francji na jej nadchodzące mecze. 24 marca zadebiutował w kadrze A, kiedy to zmienił Florenta Maloudę w meczu eliminacji do Euro 2008 z Litwą. Drugi raz w reprezentacji Diaby wystąpił w wygranym 1:0 meczu z Austrią.