Můj cíl na tento rok: udělat lokální AI snadnou a příjemnou na používání – na vašem telefonu, notebooku, u programátorů, na Discordu, v prohlížeči a dokonce i na ESP. Budete moci komunikovat s Apple hodinkami, provozovat místní model na zavolání, nechat ho programovat pro sebe atd. Kimi na 150GB vram GLM-5 na 150GB VRAM MiniMax-M2.5 na 48GB VRAM QuantForge vám umožní vzít jakýkoli model, na jakémkoli hardwaru. Vyberte velikost cíle a kalibrační datasety a poté je ořezávejte a kvantizujete. Pracuji na svém MacBooku, sklízím a kvantizuji pár malých modelů. Do konce roku to udělám tak, že já i kdokoli jiný si můžeme nechat jakýkoli model, aby pasoval na jakýkoli hardware. RN používá lokální hardware, ale integruji se s Prime Intellect. Přidám funkce pro sdílení datových sad a postavím je z mnoha nezávislých komponent.