Destaque do Cruncher #4 – Desafio de Quebra Estrutural do ADIA Lab Hoje estamos a destacar Julian Mukaj, Analista Quantitativo na M&G Investments, pela sua solução de melhor desempenho no Desafio de Quebra Estrutural de $100K do ADIA Lab 2025, realizado no Crunch.

A tarefa: verificação de quebra estrutural. Dada uma série temporal e um ponto de mudança proposto, prever a probabilidade (0–1) de que uma verdadeira quebra estrutural ocorreu ali – um problema com aplicações em finanças, clima, saúde, macroeconomia e mais.

No cerne da abordagem está a diversidade de características: Julian constrói famílias de características que comparam segmentos pré- vs pós-quebra em: - distribuições e estacionaridade - volatilidade e estrutura de variância - compressão e complexidade - conteúdo espectral - geometria de caminho e extremos

Testes estatísticos e características da teoria da informação Ferramentas clássicas como ADF, KS, Cramér–von Mises, divergências e entropias quantificam mudanças de distribuição e estacionaridade através da fronteira. Estas capturam o sinal mais direto: "A lei de movimento subjacente mudou?"

Transformações de variância e volatilidade Sobre os retornos z-normalizados, ele adiciona: - volatilidade EWMA - desvios padrão móveis - resíduos padronizados (tamanho do choque vs σ local) - janelas de variância ao estilo MOSUM As características rastreiam o coeficiente de variação, suavidade, agrupamento de volatilidade e estrutura de variância dependente do regime em torno da quebra candidata.

Compressão e geometria CuSum - As características baseadas em Lempel–Ziv e zlib medem quão compressível / estruturada a sequência é antes e depois da divisão. - As características baseadas em CuSum (forma de cotovelo, nitidez, distâncias de Wasserstein nos resíduos) destacam mudanças de nível médio e "cotovelos" locais na fronteira. Juntas, elas revelam mudanças sutis na complexidade e na dinâmica média.

Características espectrais, SSA, ROCKET e de caminho - As características espectrais e SSA rastreiam como a potência se redistribui entre as frequências e como os modos dominantes mudam. - As transformações determinísticas ROCKET atuam como características convolucionais leves para capturar microestruturas não capturadas por estatísticas de baixa ordem. - As características de caminho e extremos (reduções, distâncias a picos/fundos) resumem a geometria do caminho dependente do regime.

Uma das descobertas mais impressionantes: uma "característica mágica" – o coeficiente de variação global. Por si só, ofereceu um aumento significativo na AUC e, mais importante, atuou como um portão: pequenos intervalos desta característica definem regimes de dados distintos com frequências de quebra muito diferentes.

A análise de dependência parcial e ICE mostrou que o modelo utiliza apenas esta característica perto de limiares estreitos. Atravessar esses limiares direciona amostras para diferentes folhas onde outras características são importantes, efetivamente particionando o conjunto de dados em regimes (incluindo uma faixa de "falsos negativos fáceis" com uma taxa positiva muito baixa). Essa interação traduziu-se em um ganho significativo no AUC geral.

Julian também explorou várias arquiteturas de deep learning: - Modelos Siamese / de embedding para segmentos pré/pós - CNNs focadas em janelas de limite - Variantes híbridas LSTM–GARCH - Cabeçotes personalizados misturando estatísticas globais, janelas de limite e embeddings pré/pós A maioria estabilizou em torno de 65–75% AUC, apesar de um ajuste substancial.

Por que as árvores venceram aqui? Os conjuntos de árvores poderiam explorar sinais muito locais e de baixa dimensão, como os estreitos limiares de CV, enquanto os modelos profundos tendiam a suavizar isso através da normalização e do aprendizado de representação. Dada a linha do tempo da competição, a engenharia de características + GBDTs ofereceu o melhor equilíbrio entre complexidade, interpretabilidade e desempenho.

Um enorme agradecimento a Julian Mukaj por compartilhar uma análise tão detalhada de sua abordagem, e ao ADIA Lab e a todos os Crunchers participantes por avançar na detecção de quebras estruturais. Mais destaques de Crunchers em breve.