Να τι γνωρίζουμε:
* Δεν υπάρχουν ενδείξεις για αθλήματα: Δεν υπάρχουν ιστορικά αρχεία για συμμετοχή του Μάντισον σε οργανωμένα αθλήματα ή σωματικές δραστηριότητες.
* Περιορισμένες δραστηριότητες αναψυχής: Η ζωή του Μάντισον καταναλώθηκε σε μεγάλο βαθμό από την πολιτική και τις πνευματικές αναζητήσεις. Ήταν αδηφάγος αναγνώστης, οξυδερκής παρατηρητής της κυβέρνησης και αφοσιωμένος μελετητής της ιστορίας και της φιλοσοφίας.
* Ιππασία: Αν και δεν ήταν άθλημα, ο Μάντισον ήταν γνωστό ότι απολάμβανε την ιππασία, πιθανότατα για μεταφορά και αναψυχή.
* Κηπουρική: Ο Μάντισον είχε επίσης έντονο ενδιαφέρον για τη γεωργία και την κηπουρική, συχνά διαχειριζόμενος τη δική του περιουσία.
Συμπερασματικά, η ζωή του Τζέιμς Μάντισον επικεντρώθηκε σε πνευματικές αναζητήσεις και δημόσια υπηρεσία, με περιορισμένα στοιχεία για σημαντικά αθλητικά ή ψυχαγωγικά χόμπι.