Jak przygotować model przed wdrożeniem do produkcji?

W literaturze można znaleźć mnóstwo przykładów opisujących kolejne etapy procesu modelowania danych. Większość z nich kończy się jednak w chwili, gdy model osiąga zadowalającą jakość, a jego przygotowanie pod wdrożenie produkcyjne jest niestety zazwyczaj pomijane, lub opisywane przez autorów bez należytej staranności.

Z tego artykułu dowiesz się:
1. Czym jest model produkcyjny?
2. Jak w prosty sposób poprawić jego jakość?
3. Jak optymalnie wykorzystać zasoby, którymi dysponujesz?

Scenariusz opisywany w większości książek wygląda podobnie: analiza zbioru, usuwanie braków danych i odstających wartości, wykonanie transformacji danych, wybieranie najlepszych zmiennych, podział zbioru na część uczącą, walidacyjną i testową (ew. uczącą i testową – przy scenariuszu z walidacją krzyżową), a następnie iteracyjne poprawianie wyniku poprzez dobór algorytmu, parametrów i zmiennych, aż do osiągnięcia satysfakcjonującego rezultatu.

Jednym z kluczowych kroków w całym procesie jest podział zbioru (szalenie istotny jest odpowiedni podział zbioru – poruszę ten temat w jednym z kolejnych wpisów). Jego głównym celem jest przygotowanie modelu do prognozowania na nowych danych, których wcześniej „nie widział”.

Dzieląc zbiór, celowo zmniejszamy rozmiar próby uczącej o ok. 10% – 40%, tak by móc użyć wyodrębnionej części do m.in. badania jakości powstałego modelu. Warto przy tym pamiętać, że liczba obserwacji użytych do uczenia jest jednym z kluczowych czynników wpływających na jakość modelu predykcyjnego. Nie sposób zatem oprzeć się wrażeniu, że część potencjału drzemiącego w danych zostaje nieco zmarnowana. Można jednak temu zapobiec.

Model produkcyjny

Głównym celem modelu produkcyjnego, jest jak najdokładniejsze rozwiązanie zadanego problemu. Zadaniem badacza danych jest sprawienie, by cel ten został zrealizowany z optymalnym wykorzystaniem dostępnych zasobów:

1. Wiedzy (swojej, członków zespołu, specjalistów branżowych).
2. Czasu przeznaczonego na kolejne iteracje (sprinty) prac.
3. Dostępnych danych.

Można założyć, że w końcowej fazie projektu pierwsze dwa zasoby zostały odpowiednio wykorzystane i nie ma czasu na weryfikację kolejnych hipotez. Pozostaje zatem numer 3, a więc optymalne wykorzystanie dostępnych danych, które może wpłynąć na jakość finalnego produktu.

Maraton Analizy Danych

Już niebawem odbędzie się pierwsza edycja Maratonu Analizy Danych (26 – 27 maja, Warszawa), której to mam okazję być oficjalnym patronem. 

Maraton Analizy Danych to hackathon,  seria wykładów oraz “wioska firm” w jednym. Wykorzystując  dane dotyczące przestrzeni miejskiej w Polsce, uczestnicy spróbują  poprawić sytuację polskich miast np. minimalizując ich zakorkowanie lub poprawiając stan środowiska. Wydarzenie ma na celu integrację studentów reprezentujących świat naukowy z firmami z branży analizy danych, stwarzając idealne warunki do współdziałania na rzecz społeczeństwa.

Więcej informacji o maratonie danych znajdziesz na oficjalnej stronie wydarzenia. Serdecznie zapraszam w imieniu swoim i organizatorów! :)

Optymalne wykorzystanie dostępnych danych

Podczas budowania modelu predykcyjnego nie posiadamy „nowych” danych, na podstawie których model w przyszłości będzie wyznaczać predykcję. Musimy je zatem sztucznie wygenerować, by sprawdzić jakość naszego rozwiązania. Można wyróżnić dwa najpopularniejsze podejścia do podziału zbioru:

1. Część ucząca 60%-80% (uczenie modelu), walidująca 10%-20% (optymalizacja modelu) i testowa 10%-20% (końcowy test jakości modelu).
2. Część ucząca 70%-90% (uczenie modelu w procesie walidacji krzyżowej) i testowa 10%-30% (końcowy test jakości modelu).

Już samo zdecydowanie się na wariant drugi, jest poniekąd optymalizacją wykorzystania dostępnych danych (abstrahując od tego, które z podejść jest rzeczywiście lepsze). W obu przypadkach pozostaje jednak kilkadziesiąt procent dostępnych danych, które nie zostały wykorzystane w procesie uczenia modelu.

Pod koniec projektu zbiór walidujący i testowy, nie są już dłużej potrzebne, gdyż spełniły swoje zadanie. Dzięki nim sprawdzono jakość modelu i optymalizowano jego parametry. Nic nie stoi zatem na przeszkodzie, by ponownie wykorzystać je w procesie uczenia.

Przygotowanie modelu produkcyjnego

Biorąc pod uwagę wszystkie powyższe wnioski, mając przygotowany i podzielony zbiór, przykładowy proces przygotowywania modelu przed wdrożeniem mógłby wyglądać następująco:

1. Wykonać walidację krzyżową na zbiorze uczącym.
2. Sprawdzić średni uzyskany wynik i z pomocą współczynnika zmienności zweryfikować stabilność modelu. Jeżeli obie uzyskane wartości są satysfakcjonujące, to należy przejść do kolejnego kroku. W przeciwnym wypadku wykonywana jest kolejna iteracja modelowania.
3. Przetestować model na zbiorze testowym. Jeśli uzyskany wynik jest zbliżony do średniej z testu krzyżowego (+/- współczynnik zmienności), to można przejść do kolejnego kroku.
4. Ponownie wykonać proces uczenia „zwycięskiego” modelu na całym zbiorze.

Opisane powyżej podejście jest prostym sposobem na poprawę jakości finalnego produktu. Wielkość próby uczącej jest jednym z kluczowych czynników wpływających na wynik, jaki osiąga model, dlatego elementem robiącym różnicę jest tu krok czwarty. To właśnie ponowne uczeniu modelu o najlepszych parametrach, z wykorzystaniem wszystkich dostępnych danych decyduje o optymalnym wykorzystanie zbioru.

Podsumowanie

Pamiętam, że sam po raz pierwszy użyłem tego podejścia przy jednym z konkursów na Kaggle, gdy jeszcze zapoznawałem się z platformą. Dowiedziałem się o nim z grupy dyskusyjnej Kaggle postanowiłem to przetestować. Okazało się, że praktycznie bez wysiłku udało mi się poprawić jakość modelu i finalny wynik.

Czy znałeś to podejście? Czy stosowałeś je kiedyś w praktyce? Proszę, daj znać co o tym myślisz. Jeśli masz jakieś uwagi, spostrzeżenia lub pytania to proszę podziel się nimi w komentarzu 🙂