Το ρεφρέν του τραγουδιού επαναλαμβάνει τη γραμμή "Δεν θέλω τα ρέστα σου", εκφράζοντας την απόρριψη του τραγουδιστή για τα απομεινάρια της προηγούμενης σχέσης και την αποφασιστικότητά τους να δημιουργήσουν ένα νέο και ικανοποιητικό μέλλον για τον εαυτό τους.
Οι στίχοι δίνουν επίσης μια εικόνα του συναισθηματικού ταξιδιού του τραγουδιστή καθώς συμβιβάζονται με το τέλος της σχέσης. Περιγράφουν ότι αισθάνονται σαν «φάντασμα» στη ζωή τους, που παλεύουν να βρουν τη θέση τους στον κόσμο χωρίς τον πρώην σύντροφό τους.
Παρά τον πόνο και την αβεβαιότητα, το τραγούδι υποδηλώνει μια αίσθηση ανθεκτικότητας και ελπίδας. Η τραγουδίστρια αναγνωρίζει ότι μπορεί ακόμα να τους στοιχειώνει το παρελθόν, αλλά εκφράζει την αποφασιστικότητά τους να συνεχίσουν να προχωρούν.
Συνολικά, το "Your Leftovers" είναι ένα συγκινητικό τραγούδι για την αγάπη, την απώλεια και την αναζήτηση νέων ξεκινημάτων. Καταγράφει τα ακατέργαστα συναισθήματα και τις προκλήσεις που προκύπτουν με τη μετάβαση από μια σημαντική σχέση.