Моя цель на год: сделать локальный ИИ простым и приятным в использовании на вашем телефоне, ноутбуке, кодирующих агентах, Discord, браузере и даже на ESP. Вы сможете общаться с Apple Watch, запускать локальную модель по вызову, заставлять её кодировать для вас и т.д. Kimi на 150 ГБ VRAM GLM-5 на 150 ГБ VRAM MiniMax-M2.5 на 48 ГБ VRAM QuantForge позволяет вам взять любую модель на любом оборудовании. Выберите целевой размер и наборы данных для калибровки, а затем она обрезает и квантизирует её. Работаю на своем MacBook, я собираю и квантизирую несколько маленьких моделей. К концу года я сделаю так, чтобы я и любой другой могли адаптировать любую модель под любое оборудование. В данный момент используется локальное оборудование, но я интегрируюсь с Prime Intellect. Собираюсь добавить несколько функций для обмена наборами данных и создания одного из многих независимых компонентов.