talvez eu tenha dado uma tarefa muito difícil ao spark. o que observei foram compacções a cada 50s durante 25 minutos sem alterações de código ou progresso visível. então ele se quebrou ao consumir o buffer de compactação. também tem um contexto pequeno e compacta a cerca de 110k.