Il mio obiettivo per l'anno: rendere l'AI locale facile e piacevole da usare, sul tuo telefono, laptop, agenti di codifica, discord, browser e persino su ESP. Potrai parlare con un Apple watch, eseguire un modello locale in chiamata, farlo programmare per te, ecc.. Kimi su 150gb vram GLM-5 su 150gb vram MiniMax-M2.5 su 48gb vram QuantForge ti consente di prendere qualsiasi modello, su qualsiasi hardware. Seleziona una dimensione target e set di dati di calibrazione e poi lo pota e quantizza. Lavoro sul mio macbook, sto raccogliendo e quantizzando alcuni modelli piccoli. Entro la fine dell'anno farò in modo che io e chiunque altro possiamo adattare qualsiasi modello a qualsiasi hardware. Attualmente utilizza hardware locale ma integrerò con Prime Intellect. Aggiungerò alcune funzionalità per la condivisione di set di dati e per costruirne uno a partire da molti componenti indipendenti.