1/ Cruncher Spotlight #8 — Виклик на структурний розрив лабораторії ADIA Знайомтеся з Абхішек Гуптою (Data Scientist @ TraceLink), який посів 8-ме місце у конкурсі Structural Break Challenge на Crunch, що призов $100k тисяч. Ось інтуїція його підходу — жодної складної математики. 👇

2/ По-перше: що таке «структурний розрив»? Це коли часовий ряд тихо змінює свою поведінку — наприклад, змінюється режим ринку, датчик дрейфує або змінюється сигнал здоров'я. Та сама таблиця, але під нею інші правила.

3/ Якщо ви пропустите перерву: Прогнози стають крихкими Моделі стають нестабільними Рішення приймаються на основі вчорашньої реальності Виявлення переломів з'являється всюди: фінанси, клімат, охорона здоров'я, промислові операції.

4/ Формулювання виклику було простим: Вам дають часовий ряд і позначену межу. Питання: чи виглядають дані до і після цього моменту так, ніби вони отримані з одного й того ж процесу... Чи ні?

5/ Ключовий хід Абхішека: не змушуйте одну модель пояснювати всі види серій. Набір даних мав різні «характери» (плавні, шумні, вибухливі, важкохвості, автокореляційні). Тож він групував часові ряди у кластери (типи), а потім використовував спеціалізований детектор для кожного.

6/ Для багатьох кластерів найкращою «моделлю» був лише один сильний бал: Подумайте: «Наскільки краще серіал вписується як два сегменти порівняно з одним безперервним?» Це, по суті, порівняння у стилі співвідношення ймовірностей, чисте і складне для гри.

7/ Для інших кластерів він використовував легкий ML (логістична регресія / ансамблі дерев / бустинг градієнтів) на ознаках, які відображають зміну серії: - зсуви середнього/масштабу - Стрибки та вибуховість - поведінка хвоста - відмінності розподілу поблизу межі

8/ Ось калібрування. Коли ви запускаєте різні детектори для різних кластерів, їхні оцінки можуть бути на різних шкалах. Тому він додав калібрувальний шар для глобального вирівнювання, покращуючи загальну результативність рейтингу (AUC).

9/ Метаурок дуже Crunch: Надійна продуктивність часто залежить від чітких порівнянь + різноманітних функцій + стабільних моделей, а не від важкої архітектури. Також: він зробив це без налаштування гіперпараметрів.