Caldwell rozpoczął swoją karierę w Celtic Boys Club, lecz już w wieku 16 lat przeniósł się do Anglii razem ze swoim starszym bratem Stevenem, by grać w Newcastle United. Przebicie się do pierwszego składu było dla niego ciężkim zadaniem, był wypożyczany do wielu klubów (Darlington F.C., Hibernian F.C., Coventry City i Derby County). W letnim okienku transferowym 2003 roku po raz drugi trafił do Hibernianu. Często jednak był łączony z transferem do Celtiku, do którego w końcu przeniósł się 20 stycznia 2006 roku. Wtedy też wywalczył mistrzostwo Szkocji, a w 2007 roku powtórzył ten sukces.

Pierwszy mecz w reprezentacji Szkocji rozegrał przeciwko Francji (0:5). Swój najlepszy mecz w kadrze zaliczył także przeciwko Francji. Strzelił bowiem jedyną bramkę w tym spotkaniu, które Szkocja wygrała 1:0 w ramach eliminacji do Euro 2008.