Σε όλο το τραγούδι, η Selena τραγουδά για το συναισθηματικό βάρος του να κουβαλούν μαζί τις αναμνήσεις του παρελθόντος τους, κάτι που την καθιστά δύσκολο να αφεθεί πλήρως και να ξεκινήσει ένα νέο κεφάλαιο στη ζωή της. Λυπάται για το γεγονός ότι παρόλο που είναι σωματικά χώρια, η παρουσία του πρώην συντρόφου της εξακολουθεί να καταλαμβάνει σημαντικό χώρο στο μυαλό και στα συναισθήματά της, σαν ένα επίμονο φάντασμα.
Οι στίχοι εμβαθύνουν στον πόνο της υπενθύμισης του παρελθόντος, με αναφορές στο «το γέλιο σου» και «τα λόγια που έλεγες», καθώς και στον αγώνα να βρεις το κλείσιμο και να προχωρήσεις μπροστά χωρίς να σβήσεις τελείως τις αναμνήσεις της σχέσης. Η λαχτάρα της Selena για το παρελθόν είναι απτή καθώς τραγουδά για την επιθυμία να ξεχάσει και να είναι ελεύθερη, αλλά δεν μπορεί να ξεφύγει από το κράτημα που έχουν αυτές οι αναμνήσεις πάνω της.
Τελικά, το "Ghost of You" μεταδίδει την ένταση του συναισθηματικού τέλους που μπορεί να έχει ένας χωρισμός, ιδιαίτερα όταν ένα άτομο αγωνίζεται να αφήσει να φύγει και να αποδεχθεί ότι η σχέση έχει τελειώσει. Το τραγούδι έχει απήχηση σε όποιον έχει βιώσει τα στοιχειωμένα απομεινάρια μιας αγάπης του παρελθόντος και τις προκλήσεις της πλοήγησης στο μονοπάτι προς τη θεραπεία και την εύρεση κλεισίματος μετά το τέλος μιας σημαντικής σχέσης.