Cruncher Spotlight #4 – Sfida Strutturale ADIA Lab Oggi mettiamo in evidenza Julian Mukaj, Analista Quantitativo presso M&G Investments, per la sua soluzione di maggior successo nella Sfida Strutturale ADIA Lab 2025 da $100K ospitata su Crunch.

Il compito: verifica della rottura strutturale. Data una serie temporale e un punto di cambiamento proposto, prevedere la probabilità (0–1) che si sia verificata una vera rottura strutturale lì – un problema con applicazioni in finanza, clima, sanità, macroeconomia e altro.

Al centro dell'approccio c'è la diversità delle caratteristiche: Julian costruisce famiglie di caratteristiche che confrontano i segmenti pre- e post-rottura in base a: - distribuzioni e stazionarietà - volatilità e struttura della varianza - compressione e complessità - contenuto spettrale - geometria del percorso ed estremi

Test statistici e caratteristiche teorico-informatiche Strumenti classici come ADF, KS, Cramér–von Mises, divergenze ed entropie quantificano i cambiamenti di distribuzione e di stazionarietà attraverso il confine. Questi catturano il segnale più diretto: “La legge di moto sottostante è cambiata?”

Trasformazioni di varianza e volatilità Sui rendimenti z-normalizzati sovrappone: - volatilità EWMA - deviazioni standard mobili - residui standardizzati (dimensione dello shock vs σ locale) - finestre di varianza in stile MOSUM Le caratteristiche tracciano il coefficiente di variazione, la regolarità, il clustering della volatilità e la struttura della varianza dipendente dal regime attorno alla rottura candidata.

Compressione e geometria CuSum - Le caratteristiche basate su Lempel–Ziv e zlib misurano quanto sia comprimibile / strutturata la sequenza prima e dopo la divisione. - Le caratteristiche basate su CuSum (forma a gomito, nitidezza, distanze di Wasserstein sui residui) evidenziano spostamenti a livello medio e "gomiti" locali al confine. Insieme, mettono in luce cambiamenti sottili nella complessità e nella dinamica media.

Caratteristiche spettrali, SSA, ROCKET e path - Le caratteristiche spettrali e SSA tracciano come il potere si redistribuisce tra le frequenze e come cambiano le modalità dominanti. - Le trasformazioni deterministiche ROCKET fungono da caratteristiche convoluzionali leggere per catturare microstrutture non catturate da statistiche di basso ordine. - Le caratteristiche di path ed estremi (drawdown, distanze dai picchi/valle) riassumono la geometria del percorso dipendente dal regime.

Una delle scoperte più sorprendenti: una "caratteristica magica" – il coefficiente di variazione globale. Da solo, ha offerto un significativo aumento dell'AUC e, cosa più importante, ha agito come un cancello: intervalli minuscoli di questa caratteristica definiscono regimi di dati distinti con frequenze di rottura molto diverse.

L'analisi della dipendenza parziale e dell'ICE ha mostrato che il modello utilizza questa caratteristica solo vicino a soglie ristrette. Attraversare quelle soglie indirizza i campioni in foglie diverse dove altre caratteristiche hanno importanza, partizionando effettivamente il dataset in regimi (inclusa una banda di "facili negativi" con un tasso positivo molto basso). Questa interazione si è tradotta in un significativo guadagno complessivo dell'AUC.

Julian ha anche esplorato diverse architetture di deep learning: - Modelli Siamese / embedding per segmenti pre/post - CNN focalizzate su finestre di confine - Varianti ibride LSTM–GARCH - Teste personalizzate che mescolano statistiche globali, finestre di confine e embedding pre/post La maggior parte ha raggiunto un plateau intorno al 65–75% di AUC nonostante un notevole tuning.

Perché gli alberi hanno vinto qui? Gli ensemble di alberi potrebbero sfruttare segnali molto locali e a bassa dimensione come le strette soglie di CV, mentre i modelli profondi tendevano a smussarli attraverso la normalizzazione e l'apprendimento della rappresentazione. Data la tempistica della competizione, l'ingegneria delle caratteristiche + GBDT ha offerto il miglior compromesso tra complessità, interpretabilità e prestazioni.

Un grande grazie a Julian Mukaj per aver condiviso un'analisi così dettagliata del suo approccio, e a ADIA Lab e a tutti i Crunchers partecipanti per aver spinto i confini della rilevazione di rotture strutturali. Altri riflettori sui Cruncher in arrivo.