Дуже сподобалася аналогія @extropic @beffjezos щодо термодинаміки в цьому подкасті Він згадує Демона 👹 Максвелла — істоту, яка спалює енергію, щоб строго впорядкувати молекули (гарячі чи холодні) у дві кімнати. Це допомогло мені чітко зрозуміти різницю між GPU та термодинамікою З ШІ ми граємо за Демона, змушуючи транзистори переходити в жорсткі стани лише для збереження одного параметра. Кожна — це число від 0 до 1. Ми витрачаємо величезну кількість енергії в процесі, щоб боротися з ентропією та підтримувати ці конкретні показники Це, а також величезна кількість GPU, — причина, чому нам потрібні ядерні реактори та величезні обсяги енергії для роботи дата-центрів Математично параметр фіксований, але фізично утримувати цю точність — це постійна боротьба з теплом. Цифрові чіпи повинні спалювати величезну кількість енергії, щоб підсилити сигнал поверх природного теплового шуму, лише щоб запобігти рандомізації даних. Ось чому рахунки за енергію зникають, коли GPU Термодинамічні обчислення припиняють боротьбу з фізикою. Вона розглядає теплові флуктуації як ресурс, а не помилку, і використовує їх для природного вибірки розподілу. Це зовсім інше. Замість того, щоб використовувати масову енергію для підтримки суворих чисел і нахилятися до цього хаосу/випадковості, ми можемо запускати моделі ШІ з порядками меншої енергії Це відволікає нас від нескінченної потужності та обчислювальної тяги, на якій ми зараз перебуваємо для ШІ Я лише починаю своє дослідження тут, тож, мабуть, щось помилився Додані фото — це дуже корисне порівняння від Gemini щодо різниці між цифровим і тепловим