Spotlight Crunchera #4 – Wyzwanie Strukturalnego Przełomu ADIA Lab Dziś wyróżniamy Juliana Mukaja, analityka ilościowego w M&G Investments, za jego najlepiej ocenione rozwiązanie w wyzwaniu Strukturalnego Przełomu ADIA Lab 2025 o wartości 100 000 USD, które odbyło się na Crunch.

Zadanie: weryfikacja przerwy strukturalnej. D given a time series and a proposed change point, predict the probability (0–1) that a true structural break occurred there – a problem with applications in finance, climate, healthcare, macro, and more.

W sercu podejścia leży różnorodność cech: Julian buduje rodziny cech, które porównują segmenty przed i po przerwie pod kątem: - rozkładów i stacjonarności - struktury zmienności i wariancji - kompresji i złożoności - zawartości spektralnej - geometrii ścieżki i ekstremów

Testy statystyczne i cechy teoretyczne informacji Klasyczne narzędzia, takie jak ADF, KS, Cramér–von Mises, dywergencje i entropie, kwantyfikują zmiany rozkładu i stacjonarności na granicy. Te narzędzia uchwycają najbardziej bezpośredni sygnał: „Czy zmieniła się podstawowa zasada ruchu?”

Transformacje wariancji i zmienności Na z-normalizowanych zwrotach nakłada: - zmienność EWMA - przesuwne odchylenia standardowe - znormalizowane reszty (rozmiar wstrząsu w porównaniu do lokalnego σ) - okna wariancji w stylu MOSUM Cechy śledzą współczynnik zmienności, gładkość, klasteryzację zmienności oraz strukturę wariancji zależną od reżimu wokół kandydata na przerwanie.

Kompresja i geometria CuSum - Cechy oparte na Lempelu–Zivie i zlib mierzą, jak kompresowalna / ustrukturyzowana jest sekwencja przed i po podziale. - Cechy oparte na CuSum (kształt łokcia, ostrość, odległości Wassersteina na resztach) podkreślają zmiany poziomu średniego i lokalne „łokcie” na granicy. Razem ujawniają subtelne zmiany w złożoności i dynamice średniej.

Cechy spektralne, SSA, ROCKET i cechy ścieżki - Cechy spektralne i SSA śledzą, jak moc redystrybuuje się w różnych częstotliwościach oraz jak zmieniają się dominujące tryby. - Deterministyczne transformacje ROCKET działają jako lekkie cechy konwolucyjne, aby uchwycić mikrostrukturę, która nie jest uchwycona przez statystyki niskiego rzędu. - Cechy ścieżki i ekstremów (spadki, odległości do szczytów/dołków) podsumowują geometrię ścieżki zależną od reżimu.

Jednym z najbardziej uderzających odkryć jest „magiczna cecha” – globalny współczynnik zmienności. Sam w sobie oferował znaczący wzrost AUC i, co ważniejsze, działał jako brama: małe przedziały tej cechy definiują różne reżimy danych o bardzo różnych częstotliwościach awarii.

Analiza zależności częściowej i ICE wykazała, że model wykorzystuje tę cechę tylko w pobliżu wąskich progów. Przekroczenie tych progów kieruje próbki do różnych liści, gdzie inne cechy mają znaczenie, skutecznie dzieląc zbiór danych na reżimy (w tym pasmo „łatwych negatywów” z bardzo niskim wskaźnikiem pozytywnym). Ta interakcja przełożyła się na znaczący wzrost ogólnego AUC.

Julian zbadał również kilka architektur głębokiego uczenia: - Modele Siamese / embedding dla segmentów przed/po - CNN-y skoncentrowane na oknach granicznych - Hybrydowe warianty LSTM–GARCH - Niestandardowe głowice łączące globalne statystyki, okna graniczne i embeddingi przed/po Większość osiągnęła plateau na poziomie 65–75% AUC pomimo znacznego dostrajania.

Dlaczego drzewa wygrały tutaj? Zespoły drzew mogły wykorzystać bardzo lokalne, niskowymiarowe sygnały, takie jak wąskie progi CV, podczas gdy modele głębokie miały tendencję do ich wygładzania poprzez normalizację i uczenie reprezentacji. Biorąc pod uwagę harmonogram konkursu, inżynieria cech + GBDT-y oferowały najlepszy kompromis między złożonością, interpretowalnością a wydajnością.

Ogromne podziękowania dla Juliana Mukaja za podzielenie się tak szczegółowym opisem swojego podejścia oraz dla ADIA Lab i wszystkich uczestniczących Cruncherów za przesuwanie granic wykrywania strukturalnych przerw. Więcej reflektorów na Cruncherów już wkrótce.