Ο Castagne ξεκίνησε την καριέρα του με τη Virton, όπου έκανε το επαγγελματικό του ντεμπούτο το 1995. Το 1997, μετακόμισε στην Άντερλεχτ, όπου κέρδισε τρεις τίτλους Pro League Βελγίου και δύο Κύπελλα Βελγίου. Το 2004, εντάχθηκε στη Μίλαν, όπου κέρδισε τον τίτλο της Serie A το 2004 και το UEFA Champions League το 2007.
Ο Castagne έκανε το διεθνές ντεμπούτο του για το Βέλγιο το 1999. Συνέχισε με 54 εμφανίσεις για τη χώρα του, σημειώνοντας τέσσερα γκολ. Εκπροσώπησε το Βέλγιο στο Παγκόσμιο Κύπελλο Ποδοσφαίρου του 2002 και στο Ευρωπαϊκό Πρωτάθλημα UEFA το 2000.
Μετά την απόσυρσή του από το ποδόσφαιρο το 2008, ο Castagne εργάστηκε ως ειδήμονας για τη βελγική τηλεόραση και το ραδιόφωνο. Είναι επίσης επιτυχημένος επιχειρηματίας, έχοντας ιδρύσει αρκετές εταιρείες.
Το 2021, ο Castagne εισήχθη στο Hall of Fame του βελγικού ποδοσφαίρου.