Ο Ιωακείμ ήταν παιδί θαύμα και έκανε το ντεμπούτο του σε ηλικία επτά ετών. Σπούδασε με τον Stanisław Serwaczyński και αργότερα με τον Ferdinand David στο Ωδείο της Λειψίας. Σπούδασε επίσης σύνθεση με τον Moritz Hauptmann.
Η καριέρα του Ιωακείμ ως σολίστ τον ταξίδεψε σε όλη την Ευρώπη και έπαιξε με πολλές από τις κορυφαίες ορχήστρες της εποχής. Ήταν επίσης μουσικός δωματίου και έπαιξε με πολλούς από τους κορυφαίους μουσικούς της εποχής του, συμπεριλαμβανομένων των Clara Schumann, Johannes Brahms και Joseph Hellmesberger, Sr.
Ο Joachim ήταν επίσης αφοσιωμένος δάσκαλος και δίδαξε στο Ωδείο της Βιέννης από το 1869 έως το 1907. Ήταν επίσης ο ιδρυτής του Κουαρτέτου Joachim, το οποίο ήταν ένα από τα πιο γνωστά κουαρτέτα εγχόρδων της εποχής.
Ο Joachim είχε μεγάλη επιρροή στην ανάπτυξη του βιολιού και οι διδασκαλίες του είχαν βαθιά επίδραση στους βιολιστές σε όλο τον κόσμο. Θεωρείται ένας από τους μεγαλύτερους βιολιστές όλων των εποχών και η κληρονομιά του συνεχίζει να εμπνέει και να εκπαιδεύει μουσικούς μέχρι σήμερα.