возможно, я дал Spark слишком сложную задачу. Я наблюдал, как происходят компакции каждые 50 секунд в течение 25 минут без изменений в коде или видимого прогресса. Затем он сам себя сломал, используя буфер компакции. У него также маленький контекст и он компактуется на уровне около 110k.