Cruncher Spotlight #4 – ADIA Lab Structurele Break Challenge Vandaag lichten we Julian Mukaj, Kwantitatieve Analist bij M&G Investments, uit voor zijn best presterende oplossing in de $100K ADIA Lab 2025 Structurele Break Challenge, georganiseerd op Crunch.

De taak: verificatie van structurele breuken. Gegeven een tijdreeks en een voorgestelde wijzigingspunt, voorspel de waarschijnlijkheid (0–1) dat er daar een echte structurele breuk heeft plaatsgevonden – een probleem met toepassingen in financiën, klimaat, gezondheidszorg, macro-economie en meer.

In het hart van de aanpak ligt de diversiteit van kenmerken: Julian bouwt families van kenmerken die pre- vs post-break segmenten vergelijken op: - verdelingen & stationariteit - volatiliteit en variantiestructuur - compressie & complexiteit - spectrale inhoud - padgeometrie en extremen

Statistische tests & informatie-theoretische kenmerken Klassieke hulpmiddelen zoals ADF, KS, Cramér–von Mises, divergenties en entropieën kwantificeren distributie- en stationariteitsverschuivingen over de grens. Deze vangen het meest directe signaal: “Is de onderliggende bewegingswet veranderd?”

Variantie- en volatiliteitstransformaties Op z-genormaliseerde rendementen legt hij: - EWMA-volatiliteit - rollende standaarddeviaties - gestandaardiseerde residuen (schokgrootte vs lokale σ) - MOSUM-stijl variantievensters Kenmerken volgen de variatiecoëfficiënt, gladheid, volatiliteitsclustering en regime-afhankelijke variantiestructuur rond de kandidaatbreuk.

Compressie & CuSum-geometrie - Lempel–Ziv en zlib-gebaseerde kenmerken meten hoe samendrukbaar / gestructureerd de reeks is voor en na de splitsing. - CuSum-gebaseerde kenmerken (elleboogvorm, scherpte, Wasserstein-afstanden op residuen) benadrukken verschuivingen in het gemiddelde niveau en lokale "ellebogen" aan de grens. Samen brengen ze subtiele veranderingen in complexiteit en gemiddelde dynamiek aan het licht.

Spectrale, SSA, ROCKET & padkenmerken - Spectrale & SSA kenmerken volgen hoe de kracht zich over frequenties herverdeelt en hoe dominante modi veranderen. - Deterministische ROCKET-transformaties fungeren als lichte convolutionele kenmerken om microstructuren te vangen die niet door lage-orde statistieken worden vastgelegd. - Pad- & extrema kenmerken (terugval, afstanden tot pieken/dalen) vatten regime-afhankelijke padgeometrie samen.

Een van de meest opvallende bevindingen: een "magische functie" – de globale variatiecoëfficiënt. Op zichzelf bood het een significante AUC-boost en, nog belangrijker, fungeerde het als een poort: kleine intervallen van deze functie definiëren verschillende dataregimes met zeer verschillende breekfrequenties.

De partiële afhankelijkheid en ICE-analyse toonden aan dat het model deze functie alleen gebruikt nabij smalle drempels. Het oversteken van die drempels leidt tot het routeren van monsters naar verschillende bladeren waar andere functies belangrijk zijn, waardoor de dataset effectief wordt verdeeld in regimes (inclusief een "gemakkelijke negatieve" band met een zeer laag positief percentage). Deze interactie resulteerde in een significante algehele AUC-winst.

Julian heeft ook verschillende deep learning-architecturen verkend: - Siamese / embedding-modellen voor pre/post segmenten - CNN's gericht op grensvensters - Hybride LSTM–GARCH varianten - Aangepaste koppen die globale statistieken, grensvensters en pre/post embeddings combineren De meeste plateau's lagen rond 65–75% AUC ondanks aanzienlijke afstemming.

Waarom wonnen bomen hier? Boomensembles konden zeer lokale, laag-dimensionale signalen zoals de smalle CV-drempels benutten, terwijl diepe modellen de neiging hadden om deze weg te strijken door normalisatie en representatie leren. Gezien de tijdlijn van de competitie boden feature engineering + GBDT's de beste balans tussen complexiteit, interpreteerbaarheid en prestaties.

Grote dank aan Julian Mukaj voor het delen van zo'n gedetailleerde uiteenzetting van zijn aanpak, en aan ADIA Lab en alle deelnemende Crunchers voor het verleggen van de grenzen van structurele breukdetectie. Meer Cruncher schijnwerpers komen snel.