Karierę rozpoczynał w KSZO Ostrowiec Świętokrzyski, grał w nim przez 4 lata i w 2001 wszedł z klubem do I ligi. Mimo że był rezerwowym bramkarzem, rozegrał w lidze 9 spotkań. Po spadku KSZO z powrotem do II ligi w 2002 Kapsa przeszedł do beniaminka I ligi, Wisły Płock. Tam był w pierwszym sezonie rezerwowym (rozegrał 8 meczów), zaś w drugim pierwszym bramkarzem (14 m.). Po sezonie 2003/2004 Paweł przeszedł do spadkowicza z I ligi, Widzewa Łódź. W II lidze bronił jednak Boris Peškovič, a Kapsa rozegrał jedynie 2 mecze. W 2005 zdecydował się więc powrócić do macierzystego KSZO. Przez 2 lata jego pozycja w bramce była niepodważalna - rozegrał 55 meczów w drugiej lidze. Po karnej degradacji KSZO do III ligi, Kapsa odszedł do drugoligowej Lechii Gdańsk, z którą w sezonie 2007/08 awansował do Ekstraklasy.