Μια μικρή ομάδα Βαβυλώνιων Εβραίων παρέμεινε στη Βαβυλώνα μετά την περσική κατάκτηση και αργότερα έπαιξαν σημαντικό ρόλο στην ανάπτυξη του εβραϊκού πολιτισμού και της θρησκείας κατά την περίοδο του Δεύτερου Ναού. Το Βαβυλωνιακό Ταλμούδ, ένα από τα σημαντικότερα κείμενα του εβραϊκού νόμου, συντάχθηκε στη Βαβυλώνα κατά τη διάρκεια αυτής της περιόδου.
Τον 7ο αιώνα μ.Χ., η Βαβυλώνα κατακτήθηκε από τους Άραβες Μουσουλμάνους και έγινε μέρος του ισλαμικού κόσμου. Η πόλη συνέχισε να παρακμάζει, και μέχρι τον 10ο αιώνα, εγκαταλείφθηκε σε μεγάλο βαθμό. Σήμερα, τα ερείπια της Βαβυλώνας βρίσκονται κοντά στην πόλη Χιλά στο σημερινό Ιράκ.