Ось чому нам потрібні відкриті бенчмарки для локального ШІ. Інакше це перетворюється на племінність і образи. Ми опублікуємо найбільшу базу даних відкритих бенчмарків для локального ШІ, протестованих на 1000+ реальних апаратних установках. Кожен пристрій, кожен з'єднання, різні моделі/квантування. У нас офіс, повний обладнання: кожен Mac з M-chip, кожен iPhone, кожен RTX, DGX Spark, Strix Halo, Pi, ... Загалом, Apple Silicon має кращу економіку пам'ятних одиниць, а GPU — кращу економіку обчислювальних одиниць. Що найкраще, залежить від навантаження та паралельності. Правда (яка буде очевидна в відкритих бенчмарках) полягає в тому, що найкраще — це комбінація обох варіантів: розмістити свої обмежувальні пам'ятні пристрої на Mac, а обчислювальні — на GPU.