1/ Cruncher Spotlight #8 — ADIA Labb Structural Break Challenge Möt Abhishek Gupta (Data Scientist @ TraceLink), som slutade åtta i Structural Break Challenge på 100 000 dollar på Crunch. Här är intuitionen bakom hans tillvägagångssätt — ingen tung matematik behövs. 👇

2/ Först: vad är ett "strukturellt brott"? Det är när en tidsserie tyst ändrar sitt beteende – som en marknad som skiftar regimer, en sensor som driver eller en hälsosignal som vänder. Samma diagram, olika regler under.

3/ Om du missar pausen: Prognoserna blir spröda Modeller blir instabila Beslut fattas utifrån gårdagens verklighet Break-detektion dyker upp överallt: finans, klimat, sjukvård, industriella operationer.

4/ Utmaningens inramning var enkel: Du får en tidsserie och en markerad gränspunkt. Fråga: ser datan före och efter den punkten ut som om den kommer från samma process... Eller inte?

5/ Abhisheks nyckeldrag: tvinga inte en modell att förklara alla typer av serier. Datasetet hade olika "personligheter" (mjuka, bullriga, burstiga, tungsvansade, autokorrelerade). Så han grupperade tidsserier i kluster (typer) och använde sedan en anpassad detektor för varje.

6/ För många kluster var den bästa "modellen" bara ett enda starkt resultat: Tänk: "hur mycket bättre passar serien som två segment jämfört med ett sammanhängande segment?" Det är i princip en jämförelse med sannolikhetskvot, ren och svår att utnyttja.

7/ För andra kluster använde han lättviktigt ML (logistisk regression / trädensembler / gradientförstärkning) på funktioner som fångar hur serien förändras: - förskjutningar i medelvärde/skala - Hopp och burstiness - svansbeteende - fördelningsskillnader nära gränsen

8/ Här kommer kalibrering in i början. När du kör olika detektorer för olika kluster kan deras poäng ligga på olika skalor. Så han lade till ett kalibreringslager för att anpassa dem globalt och därmed förbättra den totala rankingprestandan (AUC).

9/ Meta-lektionen är väldigt Crunch: Robust prestanda kommer ofta från tydliga jämförelser + olika funktioner + stabila modeller, inte tung arkitektur. Dessutom: han gjorde detta utan hyperparameterjustering.