Mein Ziel für das Jahr: lokale KI einfach und angenehm zu nutzen, auf deinem Telefon, Laptop, Coding-Agenten, Discord, Browser und sogar auf ESP. Du wirst in der Lage sein, mit einer Apple Watch zu sprechen, ein lokales Modell bei Anruf auszuführen, es für dich programmieren zu lassen usw. Kimi auf 150 GB VRAM GLM-5 auf 150 GB VRAM MiniMax-M2.5 auf 48 GB VRAM QuantForge ermöglicht es dir, jedes Modell auf jeder Hardware zu verwenden. Wähle eine Zielgröße und Kalibrierungsdatensätze aus und dann wird es beschnitten und quantisiert. Ich arbeite an meinem MacBook, ich ernte und quantisiere einige kleine Modelle. Bis zum Ende des Jahres werde ich es so machen, dass ich und jeder andere jedes Modell an jede Hardware anpassen kann. Momentan verwendet es lokale Hardware, aber ich werde es mit Prime Intellect integrieren. Ich werde einige Funktionen zum Teilen von Datensätzen hinzufügen und einen aus vielen unabhängigen Komponenten erstellen.