Ендрю Нг щойно розкрив, чому компанії, що займаються ШІ, які вкладають найбільше обчислювальної потужності в цю проблему, програють. Переможець розвідувальної гонки не використає найбільше обчислювальності. Вони витрачатимуть найменше даремно. Нг: «Більшість ваших високовимірних даних лежить у нижчому підпросторі. Це просто факт життя." Ось що це означає на практиці. У вас є 10 000-вимірний набір даних. Кожен вимір проходив через кожен обчислення. Кожен тренувальний цикл тягне вантаж, який модель ніколи не використовуватиме. Ng: «Ви носите з собою ці 10 000-вимірні приклади протягом усього процесу навчання.» Ця надмірність не просто неефективна. Це податок на кожне обчислення, яке ви виконуєте. Пропускна здатність пам'яті. Пропускна здатність мережі. Обчислювальна швидкість. Усе це поглинають виміри, які нічого не сприяють інтелекту. Вони додають шуму. Інсайт, який відрізняє архітекторів від гонки озброєнь: цей 10 000-вимірний набір даних майже повністю охоплює значно менший підпростір. ...