o arnês permite que você vá muito mais longe apenas se jogando, mas o desempenho pode ser dramaticamente melhorado com um pouco de perfilagem. o que está consumindo o contexto. o que está ocupando espaço, olhe para os rastros. o que está lotando a memória. o que está dando erro e causando problemas. o que está levando muito tempo (300x mais tempo) (porque está carregando em fp32 em vez de fp16 e trocando para a memória do sistema.

quais são as inclinações do modelo. o que você pode construir no ambiente para melhorar a capacidade com base nessas inclinações. como você pode melhorar a coerência a longo prazo, a memória