1/ Cruncher Spotlight #8 — ADIA Lab Structurele Break Challenge Maak kennis met Abhishek Gupta (Data Scientist @ TraceLink), die als 8e eindigde in de $100k Structurele Break Challenge op Crunch. Hier is de intuïtie achter zijn aanpak — geen zware wiskunde nodig. 👇

2/ Eerst: wat is een "structurele breuk"? Het is wanneer een tijdreeks stilletjes zijn gedrag verandert — zoals een markt die van regime verandert, een sensor die afwijkt, of een gezondheidsignaal dat verandert. Zelfde grafiek, andere regels eronder.

3/ Als je de doorbraak mist: voorspellingen worden broos modellen worden onstabiel beslissingen worden genomen op basis van de realiteit van gisteren Doorbraakdetectie komt overal voor: financiën, klimaat, gezondheidszorg, industriële operaties.

4/ De uitdaging was eenvoudig: Je krijgt een tijdreeks en een gemarkeerd grenspunt. Vraag: lijkt de data voor en na dat punt alsof het van hetzelfde proces komt... of niet?

5/ Abhishek's belangrijkste zet: dwing niet één model om elke soort reeks uit te leggen. De dataset had verschillende "persoonlijkheden" (glad, ruisachtig, bursty, zwaar-tailed, autocorreleerd). Dus groepeerde hij tijdreeksen in clusters (typen), en gebruikte hij een op maat gemaakte detector voor elk.

6/ Voor veel clusters was het beste "model" gewoon een enkele sterke score: Denk: "hoeveel beter past de serie als twee segmenten versus één continu segment?" Dat is in wezen een vergelijking in de stijl van een likelihood-ratio, schoon en moeilijk te manipuleren.

7/ Voor andere clusters gebruikte hij lichte ML (logistische regressie / boomensembles / gradient boosting) op kenmerken die vastleggen hoe de reeks verandert: - verschuivingen in gemiddelde/schaal - sprongen & burstiness - staartgedrag - distributieverschillen nabij de grens

8/ Voer calibratie uit. Wanneer je verschillende detectors voor verschillende clusters gebruikt, kunnen hun scores op verschillende schalen staan. Dus voegde hij een calibratielaag toe om ze wereldwijd op elkaar af te stemmen, waardoor de algehele rangschikkingprestaties (AUC) verbeterden.

9/ De meta-les is zeer Crunch: Robuste prestaties komen vaak voort uit duidelijke vergelijkingen + diverse functies + stabiele modellen, niet uit zware architectuur. Ook: hij deed dit zonder hyperparameter tuning.