Kirm jest wychowankiem klubu NK Šmartno i do 2002 roku grał w nim, w zespołach juniorskich. Następnie przeszedł do Slovana Lublana i w sezonie 2002/2003 zadebiutował w trzeciej lidze słoweńskiej. W Slovanie grał przez półtora roku i w trakcie sezonu 2003/2004 odszedł do drugoligowego klubu z Lublany, NK Svoboda. Do końca sezonu 2004/2005 grał z nim w drugiej lidze. Latem 2005 Kirm przeszedł do pierwszoligowego NK Domžale, w którym stał się podstawowym zawodnikiem. W 2006 roku osiągnął z Domžale swój pierwszy sukces w karierze, gdy wywalczył wicemistrzostwo Słowenii. Z kolei w sezonie 2006/2007 został z nim po raz pierwszy mistrzem kraju. W 2008 roku powtórzył to osiągnięcie, a latem był bliski przejścia do Chievo Werona, jednak na sezon 2008/2009 pozostał w Domžale, z którym nie zdołał obronić tytułu mistrzowskiego.

2 lipca 2009 roku Andraž Kirm został zawodnikiem Wisły Kraków. Słoweniec podpisał z krakowskim klubem 5-letni kontrakt.