Jak w prosty sposób znaleźć się w czołówce rankingu wybranego konkursu na Kaggle?

Natknąłem się na bardzo ciekawe rozwiązanie, które w sposób automatyczny dopasowuje model do wybranego problemu. MLJAR, bo o nim mowa, jest platformą do automatycznego budowania modeli predykcyjnych, która nawet początkującym pomoże osiągnąć znakomite rezultaty 🙂 Budowanie eksperymentu w MLJAR jest banalnie proste i sprowadza się do kilku kroków:

1. Tworzenie nowego projektu.
2. Dodanie zbioru uczącego i testowego
3. Wybranie kolumn które będą brane pod uwagę przy budowaniu modelu predykcyjnego.
4. Wybranie parametrów eksperymentu:
   1. Typ walidacji.
   2. Metrykę według której model będzie optymalizowany.
   3. Liczbę modeli do zbudowania.
   4. Algorytmy do wykorzystania (Extreme Gradient Boosting, Radom Forrest, Regularized Greedy Forest, Extra Trees, KNN, Logistic Regression, Neural Network, Ensemble Averaging)
   5. Limit czasu na uczenie pojedynczego modelu.
5. Rozpoczęcie eksperymentu eksperyment (w tym momencie mechanizm buduje wiele modeli opartych o parametry i algorytmy przez nas zdefiniowane).
6. Sprawdzenie wyników i wybranie najlepszego modelu.
7. Wyznaczenie predykcji w oparciu o najlepszy model.

Po kilkudziesięciu minutach przygotowań i kilku godzinach wykonywania eksperymentu możemy uzyskać wynik pozwalający nam znaleźć się w czołówce rankingu na Kaggle. Dowodem jest poniższe w wideo, w którym autor wziął udział (po terminie, w związku z czym nie widnieje w oficjalnym rankingu) w konkursie: Give Me Some Credit.

Kilka prostych kroków pozwoliło mu osiągnąć wynik AUC = 0.869097. Gdyby konkurs był ciągle aktywny plasowałoby go to na… 6 miejscu spośród ponad 900 zespołów! Całkiem nieźle jak na kilka minut zabawy 🙂

Autor porównał MLJAR do kilku innych rozwiązań umożliwiających budowanie rozwiązań ML, m.in. Google i Amazon (inspiracją do tego porównania był artykuł „Machine Learning Wars” z KDnuggets). O dziwo MLJAR na tle dużych konkurentów wypada zadziwiająco dobrze.

Jeżeli powyższy przykład wydał Ci się interesujący, to nieco więcej na temat tego rozwiązania możesz się dowiedzieć z oficjalnej strony MLJAR.

źródło grafiki: Kaggle.com

Podobne wpisy:

Prosty sposób na wybór odpowiedniego punktu odcięcia Prosty sposób na wybór odpowiedniego punktu odcięcia – praktyka Wyniki konkursu i ankiety – idą zmiany! Narzędzia: Azure Machine Learning – jak zacząć?