Ο Νατ Κινγκ Κόουλ παντρεύτηκε τη Μαρία Έλλινγκτον στις 25 Δεκεμβρίου 1936 στο Σικάγο, στο απόγειο της πρώτης του καριέρας. Ήταν ευτυχισμένοι παντρεμένοι για 20 χρόνια και υιοθέτησαν πέντε παιδιά. Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (Απρίλιος 1941) και δύο κορίτσια Carol "Cookie" Cole (1944) και Maria Cole (1947). Ο γιος τους Nat Kelly Cole έγινε διάσημος τραγουδιστής, τραγουδοποιός και ηθοποιός.
Στις 28 Δεκεμβρίου 1956, η Maria Cole πέθανε απροσδόκητα από καρκίνο του πνεύμονα σε ηλικία 45 ετών, αφήνοντας τον Nat βαθιά συντετριμμένο και συντετριμμένο. Ήταν χήρος μέχρι που παντρεύτηκε την τραγουδίστρια Maria Hawkins στις 8 Ιουλίου 1965. Έμειναν μαζί μέχρι τον πρόωρο θάνατο του Nat King Cole το 1965.
Διαμάχη για την πατρότητα
Στη δεκαετία του 1990, μια γυναίκα με το όνομα Lorna Coles εμφανίστηκε, ισχυριζόμενη ότι ήταν η κόρη του Nat King Cole από μια σύντομη σχέση που είχε με τη μητέρα της το 1947. Η εξέταση DNA επιβεβαίωσε ότι η Lorna Coles ήταν όντως το βιολογικό παιδί του Nat King Cole.