MLX-LM er i ferd med å bli et ganske kraftig lite inferensrammeverk! Den nyeste utgivelsen legger til tensor-parallell LLM-inferens for bruk med den nye lavlatens JACCL-backenden i MLX (h/t @angeloskath). Også oppdatert for å støtte Transformers V5!