Το όνομα πηγάζει από την φυλὴ Sinckhanne (ή Esopus), Αλγόνκιανα μιλούντες άνθρωποι που αρχικά κατείχουν την περιοχή παράλληλα με τον ποταμό Hudson. Η λέξη τους "sinck" (επίσης "sink") σήμαινε «πέτρα» ή «κремен»—πιθανώς αναφέροντας στην ορεινή τοπογραφία ή τους λατομείες της περιοχής.
Όταν η φυλακή εξουσιοδοτήθηκε το 1824 και άνοιξε το 1826, το όνομα «Sing Sing» εφαρμόστηκε τόσο στη μονάδα όσο και στο περιβάλλον χωριό (το οποίο μετονομάστηκε σε Ossining το 1901 για να απομακρυνθεί το χωριό από τη δόξα της φυλακής). Το όνομα έχει διαμείνει σχεδόν δύο αιώνες, γινόμενο συνώνυμο με το αμερικανικό πειθαρχητικό σύστημα.