Μέθοδοι συνόλων στη μηχανική μάθηση: Bagging, Boosting & Random Forests
Εκμάθηση συνόλων (Ensemble learning) = συνδυασμός πολλαπλών μοντέλων για να ξεπερνάει οποιοδήποτε μεμονωμένο. Βασική ιδέα: τα διαφοροποιημένα λάθη ακυρώνονται· τα κοινά σημάλματα ενισχύονται.
1. Bagging (Bootstrap Aggregating)
- Δημιουργία B bootstrap δειγμάτων (τυχαία με επαναφορά)
- Εκπαίδευση βασικού μαθητή σε κάθε ένα
- Σύγκριση: πλειοψηφική ψήφος (ταξινόμηση) ή μέσος όρος (παλινδρόμηση)
- Μειώνει την ποικιλία (variance) – σταθεροποιεί αστάθεις μαθητές (π.χ. βαθιά δέντρα)
- Σημαία: Random Forest – bagging + τυχαία υποσύνολα χαρακτηριστικών ανά διαίρεση
2. Boosting (Σειριακή Διόρθωση)
- Εκπαίδευση αδύναμων μαθητών σειριακά
- Κάθε εστιάζει στα λάθη των προηγούμενων ( إعادة взвешивание δεδομένων)
- Σύγκριση: βαρημένος άθροισμα
- Μειώνει την κακόμετρηση (bias) – χτίζει ισχυρό μαθητή από αδύναμους
- Παραλλαγές: AdaBoost (προσαρμοστικές βαρύτητες), Gradient Boosting (προσαρμογή υπολοίπων), XGBoost/LightGBM/CatBoost (βελτιστοποιημένες υλοποιήσεις)
3. Stacking (Meta-Εκμάθηση)
- Εκπαίδευση ποικίλων βασικών μοντέλων
- Εκπαίδευση μετα-μοντέλου στις προβλέψεις τους
- Αποτυπώνει συμπληρωματικά δυνατά σημεία
Γιατί τα Σετ Νικητεύουν
- Χαμηλότερο σφάλμα γενίκευσης
- Ανθεκτικά σε outliers/θόρυβο
- Διαχειρίζονται σύνθετα όρια αποφάσεων
- Πρότυπο σε διαγωνισμούς Kaggle & παραγωγική ML
Ανταλλαγή: πολυπλοκότητα, υπολογισμός, ερμηνεύσιμητητα. Αλλά για πρόβλεψη δύναμης; Σετ.