Mijn doel voor het jaar: lokale AI gemakkelijk en aangenaam maken om te gebruiken, op je telefoon, laptop, coderingsagenten, discord, browser en zelfs op ESP. Je zult in staat zijn om met een Apple watch te praten, een lokaal model op te roepen, het voor je te laten coderen, enz.. Kimi op 150gb vram GLM-5 op 150gb vram MiniMax-M2.5 op 48gb vram QuantForge stelt je in staat om elk model, op elke hardware te nemen. Selecteer een doelformaat en calibratiedatasets en vervolgens snoeit en kwantificeert het. Werk op mijn macbook, ik ben aan het oogsten en kwantificeren van enkele kleine modellen. Tegen het einde van het jaar zal ik het zo maken dat ik en iedereen elk model op elke hardware kan laten passen. RN gebruikt het lokale hardware, maar ik zal integreren met Prime Intellect. Ik ga enkele functies toevoegen voor het delen van datasets en het bouwen van één uit veel onafhankelijke componenten.