Η Terrell γεννήθηκε στη Φιλαδέλφεια της Πενσυλβάνια και ξεκίνησε την καριέρα της ως έφηβη, τραγουδώντας σε διάφορα τοπικά γκρουπ. Το 1961, υπέγραψε με την Motown Records και κυκλοφόρησε το ντεμπούτο σόλο single της, "I Can't Believe You Love Me". Το τραγούδι ήταν μια μικρή επιτυχία, αλλά βοήθησε τον Terrell να κερδίσει την αναγνώριση στην οργάνωση Motown.
Το 1964, ο Terrell ηχογράφησε το ντουέτο "Ain't No Mountain High Enough" με τον Marvin Gaye. Το τραγούδι έγινε μεγάλη επιτυχία, φτάνοντας στο νούμερο ένα στο Billboard Hot 100 chart και κερδίζοντας δύο βραβεία Grammy. Ο Terrell και ο Gaye συνέχισαν να συνεργάζονται και κυκλοφόρησαν πολλά ακόμη επιτυχημένα ντουέτα, όπως τα "Your Precious Love", "You're All I Need to Get By" και "If I Could Build My Whole World Around You".
Το 1967, ο Terrell διαγνώστηκε με καρκίνο στον εγκέφαλο. Υποβλήθηκε σε χειρουργική επέμβαση και θεραπεία, αλλά ο καρκίνος επέστρεψε το 1969. Ο Terrell πέθανε στη Φιλαδέλφεια στις 16 Μαρτίου 1970, σε ηλικία 24 ετών.