Ο Τζόνσον γεννήθηκε στην Ιντιανάπολη της Ιντιάνα. Άρχισε να παίζει τρομπόνι σε ηλικία 11 ετών. Σπούδασε στο Arthur Jordan Conservatory of Music και στη Μουσική Σχολή του Πανεπιστημίου της Ιντιάνα.
Ο Τζόνσον μετακόμισε στη Νέα Υόρκη το 1942 και γρήγορα έγινε ένας από τους πιο περιζήτητους τρομπονίστες στην πόλη. Έπαιξε με τους Charlie Parker, Dizzy Gillespie, Bud Powell και άλλους θρύλους του bebop.
Στη δεκαετία του 1950, ο Johnson άρχισε να εξερευνά το hard bop, ένα νεότερο, πιο επιθετικό στυλ τζαζ. Ηχογράφησε πολλά επιδραστικά άλμπουμ με τα δικά του συγκροτήματα, όπως το "The Eminent Jay Jay Johnson Volume 1" (1954) και το "Jay Jay Johnson with Clifford Brown" (1955).
Ο Τζόνσον συνέχισε να περιοδεύει και να ηχογραφεί κατά τη διάρκεια των δεκαετιών του 1960 και του 1970. Δίδαξε επίσης στο Berklee College of Music και στο Manhattan School of Music.
Ο Τζόνσον πέθανε από καρδιακή προσβολή στην Ινδιανάπολη το 2001. Ήταν 77 ετών.
Ο Τζόνσον ήταν κύριος του τρομπονιού. Είχε έναν μοναδικό ήχο που ήταν άμεσα αναγνωρίσιμος. Ήταν επίσης ένας ταλαντούχος αυτοσχεδιαστής και συνθέτης. Η μουσική του έχει επηρεάσει αμέτρητους τρομπονίστες σε όλο τον κόσμο.
Εδώ είναι μερικές από τις πιο διάσημες συνθέσεις του Johnson:
* «Θρήνος»
* "Ezz-thetic"
* «Αίνιγμα»
* "Αστρόσκονη"
* "Blue Funk"