Η σύζυγος του Τζόελ Τσάντλερ Χάρις ήταν η Εστέλλ Λα Ρόουζ Χάρις. Παντρεύτηκαν το 1871 και είχαν ένα παιδί, τον Τζούλιαν Χάρις.