Mitt mål för året: att göra lokal AI enkel och trevlig att använda, på din telefon, laptop, kodningsagenter, Discord, webbläsare och till och med på ESP. Du kommer kunna prata med en Apple Watch, köra en lokal modell på anrop, få den att koda åt dig, osv. Kimi på 150 GB VRAM GLM-5 på 150 GB VRAM MiniMax-M2.5 på 48 GB VRAM QuantForge låter dig ta vilken modell som helst, på vilken hårdvara som helst. Välj en målstorlek och kalibreringsdataset och beskär och kvantiserar sedan dem. Jobbar på min Macbook, jag skördar och kvantiserar några små modeller. I slutet av året kommer jag att göra så att jag och vem som helst kan få vilken modell som helst för vilken hårdvara som helst. Nu använder den lokal hårdvara men jag kommer att integrera med Prime Intellect. Jag kommer att lägga till några funktioner för att dela dataset och bygga ut en från många oberoende komponenter.