Моя мета на рік: зробити локальний ШІ простим і приємним у використанні — на вашому телефоні, ноутбуці, програмних агентах, Discord, браузері та навіть на ESP. Ви зможете спілкуватися з Apple Watch, запускати локальну модель на виклик, отримувати код для вас тощо. Kimi на 150 ГБ відеопам'яті GLM-5 на 150 ГБ відеопам'ять MiniMax-M2.5 на 48 ГБ відеопам'ять QuantForge дозволяє брати будь-яку модель, на будь-якому обладнанні. Виберіть цільовий розмір і калібрувальні набори даних, а потім обрізати та квантувати їх. Працюю на MacBook, збираю і квантую кілька маленьких моделей. До кінця року я зроблю так, щоб я і будь-хто міг підібрати будь-яку модель під будь-яке обладнання. RN використовує локальне обладнання, але я інтегрую з Prime Intellect. Додам деякі функції для обміну наборами даних і створення одного з багатьох незалежних компонентів.