Mon objectif pour l'année : rendre l'IA locale facile et agréable à utiliser, sur votre téléphone, ordinateur portable, agents de codage, discord, navigateur et même sur ESP. Vous pourrez parler à une Apple watch, exécuter un modèle local lors d'un appel, le faire coder pour vous, etc.. Kimi sur 150 Go de VRAM GLM-5 sur 150 Go de VRAM MiniMax-M2.5 sur 48 Go de VRAM QuantForge vous permet de prendre n'importe quel modèle, sur n'importe quel matériel. Sélectionnez une taille cible et des ensembles de données de calibration, puis il taille et quantifie. Travaillez sur mon macbook, je récolte et quantifie quelques petits modèles. D'ici la fin de l'année, je ferai en sorte que moi et n'importe qui puisse adapter n'importe quel modèle à n'importe quel matériel. Actuellement, cela utilise du matériel local mais je vais intégrer Prime Intellect. Je vais ajouter quelques fonctionnalités pour partager des ensembles de données et en construire un à partir de nombreux composants indépendants.