Ο Κόνερι γεννήθηκε στο Εδιμβούργο της Σκωτίας το 1930. Ο πατέρας του ήταν εργάτης σε εργοστάσιο και η μητέρα του οικιακή καθαρίστρια. Ο Κόνερι παράτησε το σχολείο σε ηλικία 13 ετών και άρχισε να εργάζεται ως γαλατάς. Αργότερα εντάχθηκε στο Βασιλικό Ναυτικό, όπου υπηρέτησε για τρία χρόνια.
Η καριέρα του Κόνερι ξεκίνησε στις αρχές της δεκαετίας του 1950, όταν εμφανίστηκε σε αρκετούς μικρούς ρόλους σε βρετανικές ταινίες. Το μεγάλο του διάλειμμα ήρθε το 1962, όταν έλαβε τον ρόλο του Τζέιμς Μποντ στην ταινία Dr. No. Η ταινία γνώρισε τεράστια επιτυχία και ο Κόνερι έγινε γρήγορα ένας από τους πιο δημοφιλείς ηθοποιούς στον κόσμο.
Ο Κόνερι συνέχισε να παίζει τον Τζέιμς Μποντ σε έξι ακόμη ταινίες, όπως Από τη Ρωσία με αγάπη (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) και Never Say Never Again (1983). Έπαιξε επίσης σε μια σειρά από άλλες επιτυχημένες ταινίες κατά τη διάρκεια των δεκαετιών του 1960 και του 1970, συμπεριλαμβανομένων των The Great Escape (1963), Murder on the Orient Express (1974) και The Man Who Would Be King (1975).
Στη δεκαετία του 1980, η καριέρα του Connery άρχισε να φθίνει. Πρωταγωνίστησε σε μια σειρά από ταινίες με κακή αποδοχή, όπως το Outland (1981), το Never Say Never Again (1983) και το The League of Extraordinary Gentlemen (2003). Ωστόσο, έλαβε κάποια αναγνώριση από τους κριτικούς για τους ρόλους του στα The Untouchables (1987), Indiana Jones and the Last Crusade (1989) και The Rock (1996).
Ο Κόνερι αποσύρθηκε από την υποκριτική το 2006. Έχει λάβει πολλά βραβεία για τη δουλειά του, όπως ένα Όσκαρ, δύο βραβεία BAFTA και τρία Βραβεία Χρυσής Σφαίρας. Τιμήθηκε επίσης ιππότης από τη βασίλισσα Ελισάβετ Β' το 2000.