Andrew Ng vừa tiết lộ lý do tại sao các công ty AI đang đầu tư nhiều tài nguyên tính toán nhất vào vấn đề này sẽ thất bại. Người chiến thắng trong cuộc đua trí tuệ sẽ không sử dụng nhiều tài nguyên tính toán nhất. Họ sẽ lãng phí ít nhất. Ng: “Hầu hết dữ liệu có nhiều chiều của bạn nằm trên một không gian con có chiều thấp hơn. Đó chỉ là một thực tế trong cuộc sống.” Đây là ý nghĩa của điều đó trong thực tế. Bạn có một tập dữ liệu 10.000 chiều. Mỗi chiều bị kéo qua mỗi phép tính. Mỗi chu kỳ huấn luyện mang theo trọng lượng chết mà mô hình sẽ không bao giờ sử dụng. Ng: “Bạn đang mang theo những ví dụ 10.000 chiều này trong suốt quá trình huấn luyện của bạn.” Sự phình to đó không chỉ không hiệu quả. Nó là một loại thuế trên mỗi phép tính bạn thực hiện. Băng thông bộ nhớ. Băng thông mạng. Tốc độ tính toán. Tất cả đều bị tiêu tốn bởi những chiều không đóng góp gì cho trí tuệ. Chúng đóng góp tiếng ồn. Sự hiểu biết tách biệt các kiến trúc sư khỏi cuộc đua vũ trang: tập dữ liệu 10.000 chiều đó gần như hoàn toàn được nắm bắt bởi một không gian con nhỏ hơn nhiều. ...